[論文レビュー] Improving Dialogue Act Classification for Spontaneous Arabic Speech and Instant Messages at Utterance Level

AbdelRahim Elmadany, Sherif Abdou+1 more|arXiv (Cornell University)|May 30, 2018

Speech and dialogue systems被引用数 4

ひとこと要約

本論文は、スパム・アラビア語の会話と即時メッセージを対象として、マルチクラス構造とサポートベクターマシンを用いた階層的統計的会話行動分類モデルを提案する。手動でアノテートされたマルチジャンルのコールセンターコーパスを用いて学習された本モデルは、平均F-スコア0.912を達成し、ベースライン手法と比較して約20%の向上を示しており、非公式なアラビア語会話文脈の理解において顕著な向上を示している。

ABSTRACT

The ability to model and automatically detect dialogue act is an important step toward understanding spontaneous speech and Instant Messages. However, it has been difficult to infer a dialogue act from a surface utterance because it highly depends on the context of the utterance and speaker linguistic knowledge; especially in Arabic dialects. This paper proposes a statistical dialogue analysis model to recognize utterance's dialogue acts using a multi-classes hierarchical structure. The model can automatically acquire probabilistic discourse knowledge from a dialogue corpus were collected and annotated manually from multi-genre Egyptian call-centers. Extensive experiments were conducted using Support Vector Machines classifier to evaluate the system performance. The results attained in the term of average F-measure scores of 0.912; showed that the proposed approach has moderately improved F-measure by approximately 20%.

研究の動機と目的

• スパム・アラビア語の会話と即時メッセージにおける会話行動を正確に分類する課題に取り組むこと。これらは文脈依存性が高く、言語的に複雑である。
• 現実世界のマルチジャンルのアラビア語会話データから確率的ディス course パatters を学習できる統計的会話分析モデルを開発すること。
• 会話行動のための階層的マルチクラス構造を活用することで、既存の手法よりも分類性能を向上させること。
• エジプトのコールセンターから収集した手動でアノテートされたコーパスを用いて、モデルの有効性を評価すること。
• 文脈に配慮した、統計的に学習されたディス course 知識が、リソースが限られた非公式なアラビア語において会話行動認識を向上させることを示すこと。

提案手法

• 著者らは、会話行動を構造的な分類体系に整理することで、分類の細分化と文脈感受性を向上させる階層的マルチクラス会話行動分類モデルを設計した。
• 語彙的、構文的、ディス course レベルのパターンといった、アラビア語方言に特有の言語的および文脈的手がかりを用いて、発話から特徴量を抽出した。
• サポートベクターマシン（SVM）分類器を用いて、発話特徴量から階層的構造内の会話行動ラベルへのマッピングを学習した。
• 本モデルは、多様な会話的文脈をカバーする、エジプトのコールセンターから収集した1,500件の対話から成る手動でアノテートされたコーパスを学習データとして用いた。
• 統計的学習によりコーパスから自動的に確率的ディス course 知識を習得し、非公式な発話パターンに一般化できるようにした。
• 階層的構造により、分類体系内の親子関係を活用することで、希少または曖昧な会話行動の処理がより効果的に行えるようになった。

実験結果

リサーチクエスチョン

• RQ1 階層的統計的モデルは、スパム・アラビア語の会話と即時メッセージにおける会話行動分類性能を向上させることができるか？
• RQ2 文脈およびディス course レベルの特徴を組み込むことで、非公式なアラビア語における会話行動認識がどの程度向上するか？
• RQ3 F-スコアおよび会話行動タイプごとの頑健性の観点から、提案手法はベースライン手法と比較してどの程度有効であるか？
• RQ4 エジプトのコールセンターから収集した手動でアノテートされたマルチジャンルコーパスの使用は、会話行動分類における一般化性能の向上に寄与するか？
• RQ5 確率的ディス course 知識は、リソースが限られたアラビア語会話システムにおいて、効果的に学習され、分類精度の向上に応用可能か？

主な発見

• 提案手法は平均F-スコア0.912を達成し、ベースライン手法と比較して顕著な向上を示した。
• 性能向上は、前例手法と比較してF-スコアで約20%の中程度の向上を意味している。
• 階層的構造により、希少または曖昧な会話行動カテゴリに対する一般化能力が向上した。
• エジプトのコールセンターから収集した現実世界のマルチジャンルコーパスの使用が、モデルの頑健性と実用的適用性を高めた。
• SVMベースの分類器は、アノテート済みデータ内の統計的パターンを効果的に学習し、非公式なアラビア語発話において強い一般化能力を示した。
• 結果から、文脈に配慮した統計的に学習されたディス course 知識が、スパム・アラビア語コミュニケーションにおける会話行動認識を顕著に向上させることを確認した。