[論文レビュー] Two are Better than One: An Ensemble of Retrieval- and Generation-Based Dialog Systems

Yiping Song, Rui Yan+3 more|arXiv (Cornell University)|Oct 23, 2016

Topic Modeling参考文献 29被引用数 87

ひとこと要約

本稿では、リtrievalベースと生成ベースのオープンドメイン対話システムを統合するアンサンブルモデルを提案し、応答品質を向上させる。ユーザーのクエリと取得された候補応答を、バイシーケンシャル2セクエンス（biseq2seq）生成器に同時に入力し、取得済みおよび生成された応答を後処理で再順序付けすることで、アンサンブルは単体の各コンponentよりも顕著に優れた性能を発揮し、BLEU、ROUGE、人的評価スコアを含む複数の指標で最先端の性能を達成した。

ABSTRACT

Open-domain human-computer conversation has attracted much attention in the field of NLP. Contrary to rule- or template-based domain-specific dialog systems, open-domain conversation usually requires data-driven approaches, which can be roughly divided into two categories: retrieval-based and generation-based systems. Retrieval systems search a user-issued utterance (called a query) in a large database, and return a reply that best matches the query. Generative approaches, typically based on recurrent neural networks (RNNs), can synthesize new replies, but they suffer from the problem of generating short, meaningless utterances. In this paper, we propose a novel ensemble of retrieval-based and generation-based dialog systems in the open domain. In our approach, the retrieved candidate, in addition to the original query, is fed to an RNN-based reply generator, so that the neural model is aware of more information. The generated reply is then fed back as a new candidate for post-reranking. Experimental results show that such ensemble outperforms each single part of it by a large margin.

研究の動機と目的

• オープンドメイン会話において、リtrievalシステムは新規性に欠け、生成モデルは一般的な応答を出力するという、スタンドアロンのリtrievalおよび生成ベースの対話システムの限界を解消すること。
• リtrievalと生成の両方のアプローチの長所を活かすことで、統合によりより良い性能が得られるかどうかを検討すること。
• 取得された候補を応答生成プロセスに統合する影響と、後処理再順序付けが最終的な応答選択をどのように改善するかを調査すること。
• アブレーションスタディおよび定性的な事例分析を通じて、アンサンブルの有効性を検証すること。

提案手法

• まず、大規模なクエリ-応答ペairデータベースから、標準的な情報検索手法を用いて候補応答を取得する。
• 取得された応答と元のクエリを、バイシーケンシャル2セクエンス（biseq2seq）モデルで同時にエンコードし、両方のシーケンスに注目するようにして新しい応答を生成する。
• 生成された応答は、同じリtrievalシステムのスコア関数によって再評価され、取得済みおよび生成された応答を含む再順序付け済みの候補リストが得られる。
• 最終的な応答は、再順序付けスコアに基づいて選択され、関連性と意味的質の両方を保証する。
• バイシーケンシャル2セクエンス（biseq2seq）モデルは、クエリと取得された応答を別々にエンコードするデュアルエンコーダアーキテクチャを採用し、最終的な隠れ状態を連結してデコーダの初期状態とする。
• 後処理再順序付けでは、同じリtrievalモデルのスコア関数を用いて、取得済みおよび生成された候補を再評価・再順序付けし、最もスコアの高いものを選択する。

実験結果

リサーチクエスチョン

• RQ1 リtrievalと生成ベースのシステムを統合することで、オープンドメイン対話システムにおける応答品質が向上するか？
• RQ2 取得された候補を生成器の入力に組み込むことで、一般的な応答の「低内容性」問題が緩和されるか？
• RQ3 後処理再順序付けは、取得済みおよび生成された候補から最良の応答を選択するために有効か？
• RQ4 バイシーケンシャル2セクエンス（biseq2seq）生成器と後処理再順序付け機構の両方が、アンサンブルの性能向上に顕著な貢献をしているか？

主な発見

• アンサンブルモデルは、BLEU、ROUGE、人的評価スコアを含むすべての評価指標で、リtrievalオンリーや生成オンリーのベースラインを上回った。
• 標準的なseq2seqに比べ、バイシーケンシャル2セクエンス（biseq2seq）生成器はより意味のある応答を生成し、取得された応答からのコンテンツ語がしばしば生成出力に現れた。
• 後処理再順序付けは、低品質な生成または取得済み応答をフィルタリングすることで顕著に性能を向上させた。最良の設定では、最終選択の44.77%が生成応答であった。
• アブレーションスタディにより、バイシーケンシャル2セクエンス（biseq2seq）生成器と後処理再順序付け機構の両方が不可欠であることが確認され、いずれかを削除すると性能が低下した。
• バイシーケンシャル2セクエンス（biseq2seq）ベースのモデルでは、生成応答の選択率が55.23%に達し、生成器の貢献度が強いことが示された。
• 自動評価および人的評価の両方で、モデルはベースラインを一貫して上回り、アンサンブル戦略の有効性を実証した。