[論文レビュー] An Auto-Encoder Matching Model for Learning Utterance-Level Semantic Dependency in Dialogue Generation

Liangchen Luo, Jingjing Xu+3 more|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 16被引用数 6

ひとこと要約

本論文では、表現学習のための2つの教師なしオートエンコーダーと、入力と応答の意味を一致させるマッピングモジュールを組み合わせることで、会話生成における発話レベルの意味的依存関係を明示的に学習する、Auto-Encoder Matching (AEM) モデルを提案する。AEM モデルは応答の整合性と流暢さを著しく向上させ、自動評価および人的評価の両方で最先端の結果を達成しており、特に複雑な入力に対してベースラインモデルを上回っている。

ABSTRACT

Generating semantically coherent responses is still a major challenge in dialogue generation. Different from conventional text generation tasks, the mapping between inputs and responses in conversations is more complicated, which highly demands the understanding of utterance-level semantic dependency, a relation between the whole meanings of inputs and outputs. To address this problem, we propose an Auto-Encoder Matching (AEM) model to learn such dependency. The model contains two auto-encoders and one mapping module. The auto-encoders learn the semantic representations of inputs and responses, and the mapping module learns to connect the utterance-level representations. Experimental results from automatic and human evaluations demonstrate that our model is capable of generating responses of high coherence and fluency compared to baseline models. The code is available at https://github.com/lancopku/AMM

研究の動機と目的

• 従来のシーケンス・トゥ・シーケンスモデルが入力と応答の関連性が低いために、オープンドメイン会話システムで意味的に整合性のある応答を生成するという課題に対処すること。
• ワードレベルのアテンション機構を越えて、入力と応答の間の包括的意味的関係である発話レベルの意味的依存関係を明示的にモデリングすること。
• 表現学習と依存関係学習を分離することで、モデルの表現能力を向上させ、応答品質を改善すること。
• 発話レベルの依存関係とワードレベルの依存関係を組み合わせることで、より多様で文脈に適した応答が得られることを示すこと。

提案手法

• モデルは2つのLSTMベースのオートエンコーダーを用いる：1つは入力発話を意味的表現に変換するためのもので、もう1つは応答シーケンスを再構築するためのもので、発話レベルの意味的特徴を教師なしで学習可能にする。
• 各オートエンコーダーのエンコーダーとデコーダーは、再構築損失を最小化するように訓練され、最終隠れ状態が発話レベルの表現として使用される。
• マッピングモジュールを導入し、入力発話表現とターゲット応答表現の対応関係を学習することで、発話レベルの依存関係を明示的にモデリングする。
• 推論時、モデルは学習済みマッピングと入力表現に基づいて応答を生成するカスタマイズされたデコーダーを用い、オートエンコーダー出力とアテンション機構を組み合わせたハイブリッドデコーディング戦略を採用する。
• 両方のオートエンコーダーの再構築損失と、入力と応答表現の一致を促進するマッチング損失を組み合わせて、モデルを共同で訓練する。
• 最終的な応答生成では、オートエンコーダーのデコーダー出力とアテンション機構の出力を統合し、ワードレベルの整合性を向上させつつ発話レベルの整合性を保持する。

実験結果

リサーチクエスチョン

• RQ1 発話レベルの意味的依存関係を明示的にモデリングすることで、オープンドメイン会話システムにおける応答の整合性が向上するか？
• RQ2 表現学習と依存関係学習を分離することで、会話生成モデルの性能にどのような影響を与えるか？
• RQ3 発話レベルとワードレベルの依存関係を組み合わせることで、応答の流暢さと多様性はどの程度向上するか？
• RQ4 AEM モデルは、複雑または曖昧な入力に対して、標準的な Seq2Seq および Seq2Seq+Attention モデルよりも一般化性能に優れているか？

主な発見

• AEM モデルは BLEU-4 スコア 0.68 を達成し、Seq2Seq モデルの 0.68 の大幅な向上を示しており、Seq2Seq にアテンションを追加した場合の 0.29 ポイントの上昇よりも顕著に大きい。
• AEM モデルは応答の多様性を向上させ、ベースラインの Seq2Seq モデルと比較して、約6倍の固有トライグラムを生成しており、34.6K 個の固有トライグラムを達成した。
• 人的評価では、AEM モデルが流暢さと整合性の幾何平均スコア 7.8 を達成し、Seq2Seq モデルを顕著に上回っており、繰り返し応答（例：'I don’t know'）が50％減少した。
• AEM+Attention モデルは最高の全体的性能を達成し、アテンションを追加することで AEM モデルの整合性が顕著に向上した—これは発話レベルとワードレベルの依存関係の相乗効果を示している。
• 誤差解析の結果、モデルは未学習語（例：'Bonjour' に対して 'Stay out of here' を生成）の処理に苦労しており、今後の研究で変分オートエンコーダーによる一般化能力の向上が求められる。