[論文レビュー] Multi-Task Learning for Domain-General Spoken Disfluency Detection in Dialogue Systems

Igor Shalyminov, Arash Eshghi+1 more|arXiv (Cornell University)|Oct 8, 2018

Speech and dialogue systems被引用数 5

ひとこと要約

本稿では、会話システムにおけるインクリメンタルでドメインに依存しない話の不順応検出のためのマルチタスクLSTMベースのモデルを提案し、SWDAコーパスにおいて最先端の性能を達成した。シンプルなアーキテクチャでありながら、bAbI+の合成データセットにおいて未学習のデータへも強力な一般化を示した。特に、あいまいな発話やPP再開といった局所的な不順応パターンに対しては優れた一般化性能を示したが、データスパarsityのため、複雑なNP/PP自己訂正に対しては困難を示した。

ABSTRACT

Spontaneous spoken dialogue is often disfluent, containing pauses, hesitations, self-corrections and false starts. Processing such phenomena is essential in understanding a speaker's intended meaning and controlling the flow of the conversation. Furthermore, this processing needs to be word-by-word incremental to allow further downstream processing to begin as early as possible in order to handle real spontaneous human conversational behaviour. In addition, from a developer's point of view, it is highly desirable to be able to develop systems which can be trained from `clean' examples while also able to generalise to the very diverse disfluent variations on the same data -- thereby enhancing both data-efficiency and robustness. In this paper, we present a multi-task LSTM-based model for incremental detection of disfluency structure, which can be hooked up to any component for incremental interpretation (e.g. an incremental semantic parser), or else simply used to `clean up' the current utterance as it is being produced. We train the system on the Switchboard Dialogue Acts (SWDA) corpus and present its accuracy on this dataset. Our model outperforms prior neural network-based incremental approaches by about 10 percentage points on SWDA while employing a simpler architecture. To test the model's generalisation potential, we evaluate the same model on the bAbI+ dataset, without any additional training. bAbI+ is a dataset of synthesised goal-oriented dialogues where we control the distribution of disfluencies and their types. This shows that our approach has good generalisation potential, and sheds more light on which types of disfluency might be amenable to domain-general processing.

研究の動機と目的

• 再トレーニングなしにドメインをまたいで一般化できる、強力でインクリメンタルな不順応検出モデルの開発。
• 綺麗なデータで学習しながら多様な不順応の変種に対応するためのデータ効率性とロバストネスの向上。
• 制御された不順応分布を持つ未学習の合成会話データ上で、モデルの一般化可能性を評価すること。
• ニューラルモデルが特定の学習データを超えてドメインに依存しない不順応パターンを学習できるかの調査。
• NP/PP修復のような複雑な自己訂正を検出する際の現在のモデルの限界の探求。

提案手法

• 複数の不順応検出タスクに共通の表現を使用する単一のLSTMエンコーダを用いたマルチタスク学習フレームワーク。
• 単語単位のインクリメンタルタグ付けにより、不順応タイプ（うめつ、PP再開、編集、自己訂正）を分類。
• 間隔（例：'uh'）、修復範囲、再構成されたフレーズの識別を含むタスクで、文脈を共有。
• 標準的な不順応アノテーション規約に従い、Switchboard Dialogue Acts (SWDA) コーパスを用いて学習。
• 微調整や再トレーニングなしに、bAbI+の合成データセット上で一般化を評価。
• 修復長、品詞パターン、キーワードベースの不順応構造に関するアブレーションと分析を実施。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクLSTMモデルは、先行のニューラルアプローチに比べ、インクリメンタルな不順応検出で優れた性能を達成できるか？
• RQ2 SWDAコーパスで学習したモデルは、制御された不順応タイプを持つ未学習の合成会話データ（bAbI+）へどの程度一般化できるか？
• RQ3 シンプルなパターンに対しては高い性能を示すにもかかわらず、なぜモデルは複雑なNP/PP自己訂正を検出できないのか？
• RQ4 特定の不順応タイプ（例：NP/PP修復）におけるデータスパarsityが、モデルの一般化にどのように影響するか？
• RQ5 マルチタスク学習は、多様な話の会話パターンにおける不順応検出のロバストネスとデータ効率性を向上させられるか？

主な発見

• 提案されたマルチタスクLSTMモデルは、SWDAデータセットにおいて、先行のニューラルインクリメンタルモデルを約10ポイント上回った。
• bAbI+におけるうめつとPP再開ではF1スコアが1.0に達し、局所的な不順応パターンへの強い一般化を示した。
• 任意領域再開といった制約の少ない不順応タイプに対しても、ベースラインより優れた一般化性能を維持した。
• すべてのモデル、包括して本研究で提案したモデルも、NP/PP自己訂正では0.0の正確度を示し、根本的な検出課題であることが明らかになった。
• 分析から、SWDAにおけるNP/PP修復は極めてまれであることが判明し、モデルの失敗の主な要因はデータスパarsityであると考えられた。
• モデルは合成データへ良好に一般化しており、現実の会話システムにおけるドメインに依存しない不順応処理の可能性を示した。