[論文レビュー] ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation

Hainan Zhang, Yanyan Lan+3 more|arXiv (Cornell University)|Jul 9, 2019

Topic Modeling参考文献 25被引用数 9

ひとこと要約

ReCoSaは、階層的RNNがすべての文脈を同等に扱うという限界を克服するため、自己注意機構に基づくモデルを提案する。文脈と応答の表現を自己注意で更新し、文脈-応答の注意重みを計算することで、応答の関連性と多様性が著しく向上し、人的評価および注意の解釈可能性を併せ持つ中国語および英語のデータセットにおいて、HREDおよび注意機構を強化したベースラインを上回る性能を発揮する。

ABSTRACT

In multi-turn dialogue generation, response is usually related with only a few contexts. Therefore, an ideal model should be able to detect these relevant contexts and produce a suitable response accordingly. However, the widely used hierarchical recurrent encoderdecoder models just treat all the contexts indiscriminately, which may hurt the following response generation process. Some researchers try to use the cosine similarity or the traditional attention mechanism to find the relevant contexts, but they suffer from either insufficient relevance assumption or position bias problem. In this paper, we propose a new model, named ReCoSa, to tackle this problem. Firstly, a word level LSTM encoder is conducted to obtain the initial representation of each context. Then, the self-attention mechanism is utilized to update both the context and masked response representation. Finally, the attention weights between each context and response representations are computed and used in the further decoding process. Experimental results on both Chinese customer services dataset and English Ubuntu dialogue dataset show that ReCoSa significantly outperforms baseline models, in terms of both metric-based and human evaluations. Further analysis on attention shows that the detected relevant contexts by ReCoSa are highly coherent with human's understanding, validating the correctness and interpretability of ReCoSa.

研究の動機と目的

• モデルが対話履歴のすべての文脈を均等に扱うことでノイズが発生し、応答の質が低下する問題に対処すること。
• コサイン類似度や従来の注意メカニズムに起因する十分な関連性の仮定の欠如、または位置バイアスの問題を克服すること。
• 関連する文脈を正確に検出し、焦点を当てるように応答生成を改善すること。
• 自己注意機構がRNNベースのアプローチに比べて対話履歴における長距離依存関係をより良くモデル化できることを検証すること。

提案手法

• 対話履歴内の各文脈の初期表現を生成するために単語レベルのLSTMエンコーダーを用いる。
• 文脈シーケンスおよびマスクされた応答に対して、それぞれ独立に自己注意を適用して表現を精錬する。
• 更新された表現に基づいて、文脈-応答の注意重みを計算し、関連度スコアを決定する。
• デコーダーは重み付けされた文脈表現のみを用いて最終的な応答を生成する。
• 複数のヘッドを用いた自己注意により、異なる注意ヘッドが異なる種類の長距離依存関係を捉える。
• 教師強化学習により、正解応答の尤度を最大化することで、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、近接性や類似度のヒューリスティクスに依存せずに、マルチターン対話における関連する文脈を効果的に検出できるか？
• RQ2 ReCoSaは、応答生成の質および関連性においてHREDおよびHREDの変種を上回るか？
• RQ3 注意重みは人間による関連度判断とどの程度相関しているか？
• RQ4 ReCoSaは、関連する文脈が最新でない場合にも対応でき、位置バイアスを回避できるか？

主な発見

• 自動評価指標において、ReCoSaは中国語カスタマーサービスおよび英語Ubuntu対話データセットの両方で、ベースラインのHREDおよびHRED-attentionモデルを著しく上回る。
• 人的評価により、ReCoSaはベースラインよりも多様性があり、文脈に適切な応答を生成することが確認された。
• 注意ヒートマップから、例1では文脈1および文脈3、例2では文脈2が正しく関連する文脈として同定されており、人間の判断と一致している。
• ReCoSaは、関連する文脈が応答に隣接していない場合でも、長距離依存関係を効果的に捉えている。これは、RNNベースの注意モデルとは対照的である。
• モデルのマルチヘッド注意機構は、異なるヘッドが異なる種類の文脈-応答関係に特化しており、解釈可能性が向上している。