[論文レビュー] RHO ($ρ$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding

Ziwei Ji, Zihan Liu+5 more|arXiv (Cornell University)|Dec 3, 2022

Topic Modeling被引用数 5

ひとこと要約

RHO ($ ho$) は、知識グラフ (KG) からのローカルおよびグローバルな知識グラウンドイングを統合し、KG部分グラフウォークに基づく応答再ランク付けメカニズムを備えた、知識に基づく対話システムであり、オープンドメイン会話における幻覚を低減する。幻覚は顕著に減少し、FeQAで17.54%の改善、人間評価では幻覚が32.93%削減されたが、応答品質やKGのエンティティおよび関係のカバレッジを維持している。

ABSTRACT

Dialogue systems can leverage large pre-trained language models and knowledge to generate fluent and informative responses. However, these models are still prone to produce hallucinated responses not supported by the input source, which greatly hinders their application. The heterogeneity between external knowledge and dialogue context challenges representation learning and source integration, and further contributes to unfaithfulness. To handle this challenge and generate more faithful responses, this paper presents RHO ($ρ$) utilizing the representations of linked entities and relation predicates from a knowledge graph (KG). We propose (1) local knowledge grounding to combine textual embeddings with the corresponding KG embeddings; and (2) global knowledge grounding to equip RHO with multi-hop reasoning abilities via the attention mechanism. In addition, we devise a response re-ranking technique based on walks over KG sub-graphs for better conversational reasoning. Experimental results on OpenDialKG show that our approach significantly outperforms state-of-the-art methods on both automatic and human evaluation by a large margin, especially in hallucination reduction (17.54% in FeQA).

研究の動機と目的

• 対話履歴や外部知識によって矛盾したり検証不能な応答を生成する、知識に基づく対話システムにおける持続的な幻覚問題に対処すること。
• 非構造化された対話テキストと構造化された知識グラフ (KG) データの間の表現および統合ギャップを軽減すること。
• 会話品質や流暢さを損なわずに、応答生成における忠実度を向上させること。
• 構造化された知識統合と推論に配慮した再ランク付けを通じて、内在的および外在的忠実度を向上させる手法を開発すること。
• 応答を検証可能な知識サブグラフに根拠づけることで、より説明可能で信頼性の高い対話システムを提供すること。

提案手法

• ローカル知識グラウンドイングは、KGからのエンティティおよび関係の埋め込みを、対話文脈内のテキスト表記と直接統合する。
• グローバル知識グラウンドイングは、サブグラフ三項集合のメモリバンク上で注意機構を用いることで、マルチホップ推論と動的知識統合を可能にする。
• 応答再ランク付けモジュールは、KGサブグラフ上のウォークを活用し、知識パスとの整合性に基づいて応答を評価・優先順位付けする。
• モデルはエンコーダ・デコーダフレームワーク内でローカルおよびグローバルグラウンドイングを統合し、対話と知識モality間の表現調和を向上させる。
• 知識グラフ埋め込みは事前学習され、メンション検出およびリンクモジュールを介して対話文のメンションにリンクされる。
• フレームワークは、忠実度の自動評価および人間評価を併用して、OpenDialKGデータセット上でエンドツーエンドで微調整される。

実験結果

リサーチクエスチョン

• RQ1 構造化された知識に応答をグラウンドイングすることで、知識に基づく対話システムにおける内在的幻覚をどのように低減できるか？
• RQ2 サブグラフ三項の上での注意機構によるグローバル知識グラウンドイングは、マルチホップ推論と応答忠実度の向上にどの程度寄与するか？
• RQ3 KGサブグラフウォークに基づく再ランク付け機構は、知識の一貫性を強制することで、外在的幻覚を効果的に低減できるか？
• RQ4 ローカルおよびグローバルグラウンドイングの相乗効果は、単一のメカニズムを用いる場合と比較して忠実度にどのように影響するか？
• RQ5 忠実度指標とBLEU や ROUGE などの従来の自動指標との間には、どのようなトレードオフが存在するか？

主な発見

• RHO は、OpenDialKG データセット上で、最先端のベースラインと比較して、FeQA 忠実度指標で 17.54% の改善を達成した。
• 人間評価では、幻覚頻度が 32.93% 削減され、応答が知識ソースに対して著しく忠実になった。
• ローカル知識グラウンドイング（LKG）とグローバル知識グラウンドイング（GKG）の両方を用いたモデル（LKG+GKG）は、FeQA、QuestEval、エンティティカバレッジの観点で、片方のメカニズムのみを用いたモデルを上回った。
• KGサブグラフウォークに基づく応答再ランク付けは、流暢さやカバレッジを損なわずに忠実度をさらに向上させた。
• モデルはKGからのエンティティおよび関係のカバレッジを広くカバーしており、知識の活用が強力であることを示している。
• 誤差分析の結果、外在的幻覚が最も頻発する失敗モードであることが判明し、トレーニングデータ品質の向上および事実確認統合の強化に余地があることが示唆された。