[論文レビュー] Retrieval Augmentation Reduces Hallucination in Conversation

Kurt Shuster, Spencer Poff+3 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 50被引用数 5

ひとこと要約

この論文は、知識に基づく対話における大規模言語モデルの幻覚を低減するため、検索拡張生成（RAG）アーキテクチャを提案する。検索エンジン、ランクラーラー、反復的デコードを用いてニューラル検索をsequence-to-sequenceモデルと統合することで、Wizard of WikipediaおよびCMU_DoGで最先端の性能を達成し、人間による評価で幻覚を60%以上低減した。特に分布外のトピックにおいて顕著な改善が得られた。

ABSTRACT

Despite showing increasingly human-like conversational abilities, state-of-the-art dialogue models often suffer from factual incorrectness and hallucination of knowledge (Roller et al., 2020). In this work we explore the use of neural-retrieval-in-the-loop architectures - recently shown to be effective in open-domain QA (Lewis et al., 2020b; Izacard and Grave, 2020) - for knowledge-grounded dialogue, a task that is arguably more challenging as it requires querying based on complex multi-turn dialogue context and generating conversationally coherent responses. We study various types of architectures with multiple components - retrievers, rankers, and encoder-decoders - with the goal of maximizing knowledgeability while retaining conversational ability. We demonstrate that our best models obtain state-of-the-art performance on two knowledge-grounded conversational tasks. The models exhibit open-domain conversational capabilities, generalize effectively to scenarios not within the training data, and, as verified by human evaluations, substantially reduce the well-known problem of knowledge hallucination in state-of-the-art chatbots.

研究の動機と目的

• 最先端の対話モデルにおける事実の幻覚という持続的な問題に対処する。これは、信ぴょう性の高いが誤りである応答を生成する。
• 外部の知識ソースに基づいて応答を根拠づける検索メカニズムを統合することで、知識に基づく対話システムを改善する。
• 特に分布外のトピックや未学習のトピックにおいて、事実の正確性を高める一方で、会話のなめらかさを維持する。
• 検索拡張アーキテクチャおよびその構成要素（検索エンジン、ランクラーラー、エンコーダ・デコーダ）が幻覚をどのように低減するかを評価する。

提案手法

• 対話文脈に基づいて、大規模なコーパス（例：Wikipedia）から関連ドキュメントを検索するニューラル検索エンジンを用いた検索拡張生成（RAG）フレームワークを採用する。
• Poly-encoder Transformerを用いて、対話履歴と候補ドキュメントの間で細かく、文脈に適したスコアリングを実現する。
• 複数回の検索と生成を繰り返す反復的検索メカニズムを実装し、検索結果を段階的に改善する。
• デコーダー段階で複数の検索ドキュメントを同時に注目できるように、Fusion-in-Decoder（FiD）技術を用いてエンドツーエンドで訓練された検索エンジンを統合する。
• 対話履歴を1ターンずつ明示的にモデル化するターンベース検索メカニズムを設計し、標準的な検索手法と比較して文脈の保持を向上させる。
• 対話履歴と検索ドキュメントの両方を条件として、sequence-to-sequenceモデル（例：BART）を用いて、パイプライン全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準的な言語モデルと比較して、検索拡張生成は、オープンドメインで知識に基づく対話システムにおける幻覚を低減できるか？
• RQ2 検索エンジン、ランクラーラー、デコーダーのアーキテクチャといった、異なるアーキテクチャ的要因が、事実の整合性と会話品質にどのように影響するか？
• RQ3 検索拡張は、学習時に見られなかった分布外のトピックへの一般化を改善するか？
• RQ4 事実の正確性、会話のなめらかさ、計算コストのバランスを考慮した場合、最適な検索ドキュメント数は何か？
• RQ5 反復的検索とターンベースドキュメント検索は、複雑な複数ターン対話文脈を処理する上で、標準的な検索と比較してどのように優れているか？

主な発見

• 提案されたRAGベースのモデルは、人間による評価でベースライン言語モデルと比較して、幻覚を60%以上低減した。
• 分布外のテストデータでは、知識の豊富さの向上がベースライン比で85%に達し、標準モデルを著しく上回った。
• 分布内データではF1スコアが70%向上し、分布外データでは85%向上した。これは、堅牢な一般化性能を示している。
• 25件のドキュメントを検索すると、性能と計算コストのバランスが最良になることが分かった。より多くのドキュメントを検索すると、一部のアーキテクチャでは幻覚が増加する傾向があった。
• ドキュメントを個別に処理するRAG-Sequenceモデルは、ドキュメント数の増加に伴いF1スコアとBLEUスコアを維持するが、RAG-TokenおよびFiD-RAGはスケールアップに伴い幻覚が増加し、性能が低下する傾向を示した。
• ターンベース検索メカニズムは、対話履歴を無視しがちな標準的な検索と比較して、文脈モデリングの向上と幻覚の低減に顕著な効果を示した。