[論文レビュー] Modeling Multi-turn Conversation with Deep Utterance Aggregation

Zhuosheng Zhang, Jiangtong Li+3 more|arXiv (Cornell University)|Jun 24, 2018

Topic Modeling参考文献 41被引用数 92

ひとこと要約

本論文は、取得ベースのマルチターン対話のための Deep Utterance Aggregation (DUA) モデルを提案します。 turns-aware aggregation と self-matching attention を用いて細粒度の文脈表現を形成し、Ubuntu、Douban、および新規の E-commerce Dialogue Corpus (ECD) で最先端の結果を達成します。

ABSTRACT

Multi-turn conversation understanding is a major challenge for building intelligent dialogue systems. This work focuses on retrieval-based response matching for multi-turn conversation whose related work simply concatenates the conversation utterances, ignoring the interactions among previous utterances for context modeling. In this paper, we formulate previous utterances into context using a proposed deep utterance aggregation model to form a fine-grained context representation. In detail, a self-matching attention is first introduced to route the vital information in each utterance. Then the model matches a response with each refined utterance and the final matching score is obtained after attentive turns aggregation. Experimental results show our model outperforms the state-of-the-art methods on three multi-turn conversation benchmarks, including a newly introduced e-commerce dialogue corpus.

研究の動機と目的

• 多段の取得ベース対話で以前の utterances の単純な連結を超えた文脈モデリングの改善を動機づける。
• last utterance と前の文脈を融合する turns-aware aggregation メカニズムを開発する。
• self-matching attention により各 utterance 内の顕著な情報を強調する。
• 単語レベルおよび utterance レベルでレスポンスを洗練された utterances にマッチさせ、最終スコアリングのために結果を集約する。
• 新たにリリースされた e-commerce dialogue corpus を含む複数のベンチマークでアプローチを評価し、強力なベースラインと比較する。

提案手法

• 各 utterance とレスポンスを語彙レベルの GRU エンコーダで表現する。
• 各 prior utterance を last utterance と融合させる turns-aware aggregation を適用する（ aggregation method は concatenation を選択）。
• self-matching attention を用いて融合された utterances シーケンス内の冗長な情報をフィルタする。
• 各 utterance とレスポンスの間に語彙レベルおよび utterance レベルのマッチング行列を構築し、それらを CNN でエンコードしてマッチングベクトルを得る。
• マッチングベクトルのシーケンスを時系列順に gated recurrent unit (GRU) で処理し、GRU の出力に対する attention で最終スコアを得る。
• クロスエントロピー損失でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 turns-aware aggregation は単純な連結を超えてマルチターンの文脈表現を改善できるか。
• RQ2 self-matching attention は utterance 内の顕著な情報をうまく抽出してレスポンスマッチングを改善できるか。
• RQ3 提案する Deep Utterance Aggregation (DUA) は、英語の Ubuntu データセット、中国語の Douban データセット、および新規公開の e-commerce コーパスを含む複数のマルチターン対話ベンチマークで最先端のベースラインと比較してどの程度性能を発揮するか。
• RQ4 アブレーション分析から文脈統合とマッチングアテンションの流れの重要性について、どのような洞察が得られるか。

主な発見

• DUA は三つのマルチターン対話ベンチマーク（Ubuntu、Douban、ECD）で既存モデルを上回る。
• ECD データセットで以前の最先端より顕著な改善を達成し、SMN に対する R10@1 で 4.8% のゲインを含む。
• アブレーション研究は、Context Fusion（turns-aware aggregation）と Matching Attention Flow の両方が重要であり、特に Matching Attention Flow を除去した場合に最大のドロップが生じることを示す。
• 定性的分析は、self-matching attention が発話と応答の重要な部分を効果的に識別・集中させ、マッチングを導くことを示す。
• 著者は研究コミュニティに対して初の公開 e-commerce dialogue corpus (ECD) を提供し、サービス指向の会話におけるより広い評価を可能にする。