[論文レビュー] Speaker Role Contextual Modeling for Language Understanding and Dialogue Policy Learning

Ta-Chung Chi, Po-Chun Chen+2 more|arXiv (Cornell University)|Sep 30, 2017

Topic Modeling被引用数 19

ひとこと要約

本稿では、対話における発話者役割（例：観光客対ガイド）を別々に符号化することで、マルチターン対話における言語理解と対話ポリシー学習を向上させるロールベースの文脈モデルを提案する。双方向LSTMとアテンション機構を用いてロール固有の文脈表現をモデル化することで、ベースラインと比較して言語理解で5.1%相対F1向上、ポリシー学習で6.3%向上を達成した。

ABSTRACT

Language understanding (LU) and dialogue policy learning are two essential components in conversational systems. Human-human dialogues are not well-controlled and often random and unpredictable due to their own goals and speaking habits. This paper proposes a role-based contextual model to consider different speaker roles independently based on the various speaking patterns in the multi-turn dialogues. The experiments on the benchmark dataset show that the proposed role-based model successfully learns role-specific behavioral patterns for contextual encoding and then significantly improves language understanding and dialogue policy learning tasks.

研究の動機と目的

• 発話者役割が言語使用と理解に与える影響を考慮する必要がある、人間同士の対話における多様な発話パターンをモデル化する課題に対処すること。
• すべての発話文を均一に扱うのではなく、発話者役割を明示的にモデル化することで、言語理解（LU）と対話ポリシー学習（DPL）を改善すること。
• ロール固有の文脈符号化が、より良い意味的表現学習と下流タスクのパフォーマンス向上をもたらすかどうかを調査すること。
• 発話者役割をモデル化することで、タスク指向対話における意図予測とシステム行動予測の両方が向上することを示すこと。
• 推論時に真値の意味的アノテーションを必要としない、実用的でエンドツーエンドで学習可能なフレームワークを提供すること。

提案手法

• モデルは、現在の発話文を符号化し、過去の発話文から得られる履歴要約ベクトルと統合するため、双方向LSTM（BLSTM）を用いる。
• 観光客／ユーザーとガイド／システムの各発話者役割に対して別々の文脈符号化を実施し、発話者固有のパターンに基づいた履歴表現を学習する。
• 履歴要約ベクトルは、現在の文脈に整合する過去の発話文の重要度を重みづけするアテンション機構により更新される。
• 言語理解（LU）と対話ポリシー学習（DPL）の両タスクにおいて、予測分布と真値分布の差を最小化するように、クロスエントロピー損失を用いてエンドツーエンドで学習する。
• 文の表現品質を向上させるために、訓練中に真値の意図属性ペアを中間監督として用いる。
• モデルは事前学習済みGloVe埋め込みを用い、文の符号化にはCNNと最大プーリングを適用し、最後にマルチラベル予測用の分類層を設ける。

実験結果

リサーチクエスチョン

• RQ1 標準的な文脈符号化と比較して、発話者役割を独立してモデル化することで、マルチターン対話における言語理解が向上するか？
• RQ2 ロール固有の文脈符号化は、タスク指向対話における対話ポリシー学習性能を向上させるか？
• RQ3 文脈表現に真値の意味的ラベルを用いるか、自然言語発話文を用いるかが、モデルのパフォーマンスに与える影響は？
• RQ4 訓練中に意味的ラベルを中間監督として用いることで、学習された文脈表現の質がどの程度向上するか？
• RQ5 ユーザー行動の多様性を考慮すると、本稿のロールベースモデルはユーザー意図理解よりもシステム行動予測に対してより有効であるか？

主な発見

• 提案されたロールベースモデルは、発話者役割を無視するベースラインと比較して、言語理解で69.2%のF1スコアを達成し、相対的に5.1%の向上を示した。
• 対話ポリシー学習においては、65.8%のF1スコアを達成し、ベースラインと比較して相対的に6.3%の向上を示した。
• 真値の意味的ラベルを文脈に用いた場合（Contextual-Sem）は、言語理解で68.2%のF1スコアという上限性能を示し、明示的な意味的文脈の価値を裏付けた。
• 訓練中に意味的ラベルを中間監督として用いたモデルは、非監督バージョンと比較して、言語理解で0.9%、対話ポリシー学習で0.7%のパフォーマンス向上を示した。
• DSTC4 2016で最高の参加者ベースライン（言語理解で62.6%のF1スコア）を上回ったことから、本モデルの有効性が示された。
• 結果から、ユーザーの行動の多様性が大きいことから、ユーザー意図理解はシステム行動予測よりも困難であることが明らかになった。