[論文レビュー] You Truly Understand What I Need: Intellectual and Friendly Dialogue Agents grounding Knowledge and Persona

Jungwoo Lim, Myunghoon Kang+9 more|arXiv (Cornell University)|Jan 6, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文では、ポリエンコーダーに基づく検索システムを用いて、外部知識とユーザーパーソナを同時に接地する対話エージェントであるINFOを提案する。検索された知識とパーソナで入力クエリを拡張することで、モデルはより情報量が多く、会話的に魅力的で、幻覚を減らした応答を生成し、パーソナ・ナレッジ対話ベンチマークにおいて、両方のタスクで最先端の性能を達成する。

ABSTRACT

To build a conversational agent that interacts fluently with humans, previous studies blend knowledge or personal profile into the pre-trained language model. However, the model that considers knowledge and persona at the same time is still limited, leading to hallucination and a passive way of using personas. We propose an effective dialogue agent that grounds external knowledge and persona simultaneously. The agent selects the proper knowledge and persona to use for generating the answers with our candidate scoring implemented with a poly-encoder. Then, our model generates the utterance with lesser hallucination and more engagingness utilizing retrieval augmented generation with knowledge-persona enhanced query. We conduct experiments on the persona-knowledge chat and achieve state-of-the-art performance in grounding and generation tasks on the automatic metrics. Moreover, we validate the answers from the models regarding hallucination and engagingness through human evaluation and qualitative results. We show our retriever's effectiveness in extracting relevant documents compared to the other previous retrievers, along with the comparison of multiple candidate scoring methods. Code is available at https://github.com/dlawjddn803/INFO

研究の動機と目的

• 既存の対話エージェントが幻覚を起こすか、パーソナを受動的に使用するという限界を是正するため、外部知識とユーザーパーソナを同時に接地する。
• 幻覚を低減し、オープンドメインでパーソナライズされた対話システムにおける会話性を向上させるために、応答品質を改善する。
• トークンレベルの周辺化を用いて、接地と生成の間に一貫性を保つリトリーブ増強生成フレームワークを構築する。
• 共同知識およびパーソナ検索における異なる候補スコアリング手法（バイエンコーダー、クロスエンコーダー、ポリエンコーダー）の有効性を評価する。
• 検索された知識およびパーソナのソースを用いて、応答の解釈可能性と出典の明示を実現する。

提案手法

• 対話文脈に対する関連性を評価するため、候補となる知識およびパーソナの文章をスコアリングするためにポリエンコーダー・アーキテクチャを採用する。
• 生成器の入力プロンプトに検索された知識とパーソナを統合することで、知識・パーソナ強化クエリを構築する。
• 非パrametricメモリ（検索された文書）とパラメトリック生成器（大規模言語モデル）を用いたリトリーブ増強生成（RAG）を用い、応答の一貫性を向上させる。
• トレーニング中に生成された応答が検索された知識およびパーソナと整合するように、トークンレベルの周辺化損失を適用する。
• 複数のパーソナ選択を可能にするために、パーソナレベルのインジケータを導入し、個人的特徴の洗練された接地を実現する。
• バイエンコーダー、クロスエンコーダー、ポリエンコーダーの複数の検索コンponentを比較し、それらが接地精度および応答品質に与える影響を評価する。

Figure 1: Overview of our method. $U$ is the input comprises dialogue history and knowledge snippet, and $cand$ denotes each candidate from the grounding tasks. The grounding score is obtained through the dot product operation with the representation of input context $U_{dial}$ and candidate $a_{t}$

実験結果

リサーチクエスチョン

• RQ1 対話エージェントは、外部知識とユーザーパーソナの両方の接地を効果的に行い、幻覚を低減できるか？
• RQ2 入力クエリに知識とパーソナを統合することで、応答の会話性と事実の整合性はどのように変化するか？
• RQ3 候補スコアリング手法（バイエンコーダー、クロスエンコーダー、ポリエンコーダー）の中で、共同知識およびパーソナ検索において最も優れたパフォーマンスを示すのはどれか？
• RQ4 提案されたリトリーブ増強生成フレームワークは、標準的なファインチューニングモデルと比較して、生成品質をどの程度向上させるか？
• RQ5 人間の評価によって検証されたように、モデルは事実に基づいた応答と社会的に魅力的な応答を両立して生成できるか？

主な発見

• INFOは、パーソナ・ナレッジ対話ベンチマークにおいて、自動評価指標において既存モデルを上回り、両方のタスクで最先端のパフォーマンスを達成する。
• 人間評価により、BART や GPT-2 などのベースラインと比較して、INFOは著しく幻覚が少なく、会話性の高い応答を生成することが確認された。
• 候補スコアリングにおいて、ポリエンコーダーはバイエンコーダーおよびクロスエンコーダーを上回り、文脈と候補となる知識／パーソナとの関連性を捉える能力に優れていることが示された。
• 定性的分析により、INFOは真の知識およびパーソナを正しく検索・統合しているのに対し、ベースラインは幻覚を起こすか、パーソナを完全に無視していることが分かった。
• 検索されたソースの使用により、解釈可能性と出典の明示が向上し、ユーザーが応答内の事実的主張の出典を追跡できるようになった。
• INFOは、パーソナを能動的に会話に組み込むことで、繰り返し的で一般的な応答を減らし、『私は4人の子供がいます』のような受動的な発言を避ける。

(a) Adequacy