[論文レビュー] A Hybrid Retrieval-Generation Neural Conversation Model

Yang Liu, Junjie Hu+7 more|arXiv (Cornell University)|Apr 19, 2019

Topic Modeling参考文献 53被引用数 22

ひとこと要約

本論文では、スムーズさと多様性を備えた検索ベースの応答と、一般化能力に優れた生成ベースの応答を統合することで、両者の長所を活かしたハイブリッドニューラル会話モデルを提案する。遠隔教師あり学習を用いて、両方のソースからの最適な応答を選択するランクイングモジュールを訓練することで、自動評価および人的評価の両方の指標において、TwitterおよびFoursquareデータセットで単独の検索法や生成法を上回る性能を発揮する。

ABSTRACT

Intelligent personal assistant systems that are able to have multi-turn conversations with human users are becoming increasingly popular. Most previous research has been focused on using either retrieval-based or generation-based methods to develop such systems. Retrieval-based methods have the advantage of returning fluent and informative responses with great diversity. However, the performance of the methods is limited by the size of the response repository. On the other hand, generation-based methods can produce highly coherent responses on any topics. But the generated responses are often generic and not informative due to the lack of grounding knowledge. In this paper, we propose a hybrid neural conversation model that combines the merits of both response retrieval and generation methods. Experimental results on Twitter and Foursquare data show that the proposed model outperforms both retrieval-based methods and generation-based methods (including a recently proposed knowledge-grounded neural conversation model) under both automatic evaluation metrics and human evaluation. We hope that the findings in this study provide new insights on how to integrate text retrieval and text generation models for building conversation systems.

研究の動機と目的

• 検索ベースのモデルの限界（リポジトリのサイズとカバレッジに制限されること）と、生成ベースのモデルの限界（一般的すぎたり、情報が乏しい応答を生成することが多いこと）を解消すること。
• 統一されたニューラルフレームワーク内で、検索（多様性、情報量、スムーズさ）と生成（柔軟性、未知の文脈への一般化能力）の長所を統合すること。
• 弱教師あり信号を用いて、検索応答と生成応答の両方から最適な応答を選択できるトレーニング可能なランクイングモジュールを開発すること。
• 実世界の会話データセット上でハイブリッドモデルを評価し、既存の検索専用および生成専用のベースラインを上回ることを示すこと。

提案手法

• モデルは二重パスアーキテクチャを採用しており、一方のパスはBM25またはニューラルリランクイングを用いてあらかじめ構築されたリポジトリから候補応答を検索し、もう一方のパスはシーケンス・トゥ・シーケンスモデルによって応答を生成する。
• 遠隔教師あり学習を用いて、文脈に対する関連性に基づき、検索応答と生成応答を正例または負例としてラベルづけするランクイングモジュールを訓練する。
• ランクイングモジュールは、検索候補と生成候補の両方のセットから最良の応答を選択するように、ペairワイズランクイング損失を最適化する。
• 訓練プロセスでは、正解応答と上位ランクの候補からサンプリングすることで、1つの文脈に対して複数の正例を組み込むことで、頑健性と一般化能力を向上させる。
• 最終的な応答は、ランクイングモジュールによって選択され、多様性、情報量、関連性のバランスが取れる。
• ハイパーパramータ（k′：正例の数）を検証を用いて調整しながら、モデルはTwitterおよびFoursquareデータセット上でエンド・トゥ・エンドでファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 統一されたニューラルモデルは、検索ベースと生成ベースの応答選択を効果的に統合し、会話の質を向上させることができるか？
• RQ2 自動評価および人的評価の両方の指標において、ハイブリッドモデルは検索専用および生成専用のベースラインと比較して、どのように性能を発揮するか？
• RQ3 明示的な人的ラベルが不要な状況でも、遠隔教師あり学習がハイブリッドランクイングモジュールの訓練をどの程度改善するか？
• RQ4 ハイブリッドモデルは、検索専用または生成専用のアプローチと比較して、具体的さと一般化のバランスをどの程度良好に達成できるか？

主な発見

• 提案されたハイブリッドモデルは、TwitterおよびFoursquareデータセットの両方で、自動評価指標（例：BLEU、ROUGE）および人的評価の両方において、検索ベースおよび生成ベースのベースラインを上回る性能を発揮する。
• モデルは、関連性、情報量、スムーズさの面で最も高い人的評価スコアを達成し、具体的かつ文脈に適した応答を提供する。
• 正例の数（k′）を増やすことで応答生成の性能が向上するが、その効果は次第に小さくなり、ノイズのリスクも伴うため、ハイパーパramータチューニングにおけるトレードオフが顕在化する。
• ケーススタディを通じて、検索が具体的な詳細を提供し、生成が適応可能な表現を提供するという点で、ハイブリッドモデルが具体的さと一般化のバランスをうまく達成していることが示された。
• 遠隔教師あり学習により、人的ラベルが不要な状況でもランクイングモジュールの効果的な訓練が可能となり、大規模データセットへのスケーラビリティが確保された。
• HNCM-RSFバージョン（生成応答）とHNCM-RSバージョン（検索応答）の両方とも、高品質な出力を得ており、モデルが両方の応答タイプを効果的に活用できる柔軟性を示している。