[論文レビュー] Retrieve and Refine: Improved Sequence Generation Models For Dialogue

Jason Weston, Emily Dinan+1 more|arXiv (Cornell University)|Aug 14, 2018

Topic Modeling参考文献 16被引用数 17

ひとこと要約

本稿では、候補集合から関連する応答を検索し、sequence-to-sequenceモデルを用いてそれを精錬するハイブリッド対話生成モデル、RetrieveNRefine (RetNRef) を提案する。検索された応答を対話履歴に連結することで、単独の検索モデルや生成モデルよりもより魅力的で文脈に適した応答を生成し、ConvAI2データセットにおける人間評価スコアで優れた結果を達成した。

ABSTRACT

Sequence generation models for dialogue are known to have several problems: they tend to produce short, generic sentences that are uninformative and unengaging. Retrieval models on the other hand can surface interesting responses, but are restricted to the given retrieval set leading to erroneous replies that cannot be tuned to the specific context. In this work we develop a model that combines the two approaches to avoid both their deficiencies: first retrieve a response and then refine it -- the final sequence generator treating the retrieval as additional context. We show on the recent CONVAI2 challenge task our approach produces responses superior to both standard retrieval and generation models in human evaluations.

研究の動機と目的

• 対話において、短く、一般的で、情報が乏しい応答を生成する傾向がある単独のsequence生成モデルの限界を是正すること。
• 正確な一致が存在しない場合、応答を特定の対話文脈に適応できないという検索中心モデルの硬直性を克服すること。
• 検索の事実的豊かさと生成の柔軟性を活用し、より魅力的で文脈に配慮した対話のためのハイブリッドモデルを開発すること。
• 検索された候補をsequence生成によって精錬することで応答の質を向上させつつ、適切な場合には意味的内容を保持すること。

提案手法

• モデルは、対話履歴と検索された応答の両方を条件として用いる標準的な2層LSTMにアテンションを組み合わせた生成器を用いる。
• キーバリュー記憶ネットワークが、対話履歴とのコサイン類似度を用いて訓練データセットから最も関連性の高い応答を検索する。
• 検索された応答は特別な区切りトークンで先頭に挿入され、対話履歴と連結されて生成器の入力系列を形成する。
• モデルは、各訓練ターンについて事前に検索結果を計算し、正解ラベルとの類似度に基づいて上位100候補を再ランク付けすることで、大きな分布シフトを回避する。
• 2つの変種が導入された：RetNRef+ は初期のパーソナプロファイルを切り詰めて、検索された応答に注目させるように設計されており、RetNRef++ は語のオーバーラップが60%を超える場合に検索結果を正確にコピーするように強制する。
• 人間評価はA/Bテストを用い、アノテーターがモデル生成応答と人間の応答、または他のモデル出力のどちらを選ぶかを判断した。

実験結果

リサーチクエスチョン

• RQ1 検索と生成を組み合わせることで、単独で用いる場合と比較して対話応答の質が向上するか？
• RQ2 sequence生成器を用いて検索された忤答を精錬することで、より魅力的で文脈に適した、多様な応答が得られるか？
• RQ3 モデルは、いつ完全に検索された忤答をコピーすべきか、いつ変更すべきかを適切に判断できるか？
• RQ4 事実的整合性と一貫性を保ちながら、「知らない」という問題を回避できるか？

主な発見

• RetNRef++ は、メモリネットワークベースの検索モデルと比較して、A/B人間評価で統計的に有意な勝率54.5%を記録し、人間の好みで優れた結果を出した。
• ベースラインSeq2Seq生成器と比較して、A/B比較の54%で勝利し、より優れた関与性と一貫性を示した。
• RetNRef++ は、語のオーバーラップが60%を超える場合に検索結果を正確にコピーするように強制することで、語レベルのコピー誤りによるエラーを低減し、信頼性を向上させた。
• 人間のアノテーターは、自然さ、関連性、および検索された文から得られるペットや飲料、個人的特徴といったパーソナ詳細の活用を評価し、RetNRef++ の忤答を好んだ。
• モデルは検索と生成のバランスをうまく取っており、約50%のケースで検索された忤答をそのままでコピーし、残りの約50%では品質や文脈に応じて精錬した。