[論文レビュー] Internet-Augmented Dialogue Generation

Mojtaba Komeili, Kurt Shuster+1 more|arXiv (Cornell University)|Jul 15, 2021

Topic Modeling被引用数 13

ひとこと要約

本稿では、検索クエリを用いて動的に最新の知識を取得するインターネット拡張対話生成フレームワークを提案する。これにより、事実の整合性が向上し、幻覚現象が軽減される。対話文脈から検索クエリを生成し、結果を取得し、Fusion-in-Decoderを用いて取得した証拠を応答生成に統合することで、人間の「ウィザード」がライブインターネット検索を用いる新しいクラウドソーシングデータセットにおいて、自動評価および人的評価の両方で、拡張されていないモデルおよびFAISSベースの検索モデルを上回る性能を発揮した。

ABSTRACT

The largest store of continually updating knowledge on our planet can be accessed via internet search. In this work we study giving access to this information to conversational agents. Large language models, even though they store an impressive amount of knowledge within their weights, are known to hallucinate facts when generating dialogue (Shuster et al., 2021); moreover, those facts are frozen in time at the point of model training. In contrast, we propose an approach that learns to generate an internet search query based on the context, and then conditions on the search results to finally generate a response, a method that can employ up-to-the-minute relevant information. We train and evaluate such models on a newly collected dataset of human-human conversations whereby one of the speakers is given access to internet search during knowledgedriven discussions in order to ground their responses. We find that search-query based access of the internet in conversation provides superior performance compared to existing approaches that either use no augmentation or FAISS-based retrieval (Lewis et al., 2020).

研究の動機と目的

• 大規模言語モデルに内在する静的知識の制限に対処する。これらのモデルは学習時に凍結されており、事実の幻覚現象を引き起こしやすい。
• 会話中にインターネットから最新情報を動的にアクセスできる対話生成システムを開発する。
• 非拡張型およびFAISSベースの検索モデルと比較して、インターネット拡張生成の有効性を評価する。
• 人間同士の対話データセットを収集・公開する。このデータセットでは、1人の参加者がインターネット検索を用いて応答を根拠づけることで、リアルタイムの知識統合の評価を可能にする。
• 検索クエリ生成や検索統合の方法など、インターネット拡張における異なる設計選択の影響を分析する。

提案手法

• モデルは、対話文脈から検索クエリを生成するためのsequence-to-sequenceアーキテクチャを用いる。
• 生成されたクエリを用いて、外部検索エンジン（例：Bing）を通じて関連するWebドキュメントを取得する。
• 取得されたドキュメントはエンコードされ、Fusion-in-Decoder（FiD）手法を用いてデコーダー入力に統合される。
• デコーダーは、対話履歴および取得した外部知識の両方に条件付けられた応答を生成する。
• モデルは、1人の発話者（「ウィザード」）が応答を情報提供するためにインターネット検索を行う新しいクラウドソーシングデータセット上で微調整される。
• システムは自動指標および人的評価を用いて評価され、非拡張型およびFAISSベースの検索ベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 学習時に凍結された知識に依存するモデルと比較して、検索クエリを生成しリアルタイムのウェブ結果を取得する対話モデルは、より事実に整合した応答を生成できるか？
• RQ2 知識に基づく対話において、インターネット拡張型対話生成はFAISSベースの検索モデルおよび非拡張型モデルと比較して、どのように性能を発揮するか？
• RQ3 検索クエリ生成の誤りや誤った知識選択といった、インターネット拡張型対話生成における主な失敗モードは何か？
• RQ4 クエリの作成方法や検索統合の方法といった、異なる設計選択が、正確で関連性の高い応答を生成する能力にどのように影響するか？
• RQ5 標準的な言語モデルと比較して、インターネット拡張は解釈可能性およびデバッグ可能性をどの程度向上させるか？

主な発見

• インターネット拡張型モデルは、自動評価および人的評価の両方で、非拡張型およびFAISSベースの検索モデルを顕著に上回り、優れた事実の整合性と応答の関連性を示した。
• モデルは、最新のテレビ番組のあらまし、レストランの詳細、スポーツのスコアなど、静的モデルではアクセスできない最新の情報を正しく取得・利用できる。
• 改善が見られたものの、依然として誤った知識の使用、検索クエリ生成の誤り、利用可能な正しい情報を活用できない失敗が見られた。
• 人的評価では、インターネット拡張型モデルの応答が、非拡張型モデルの応答よりも情報量が多く正確であると認識された。
• モデルが人間が読みやすい検索クエリを生成し、取得したドキュメントを引用できる能力のおかげで、標準的な言語モデルと比較して解釈可能性およびデバッグ可能性が向上した。
• 本研究では、正しい知識が得られても、モデルが一般化された応答に陥る傾向があることが判明し、単なる検索を超えた知識の活用における課題が浮き彫りになった。