[論文レビュー] Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation

Minki Kang, Jin Myung Kwak+2 more|arXiv (Cornell University)|May 30, 2023

Topic Modeling被引用数 9

ひとこと要約

SURGE はKnowledge Graphから文脈に関連するサブグラフを取得し、それを言語モデルへ不変にエンコードし、グラフ-text対比学習を用いて知識に基づく対話を生成し、事実性を高める。

ABSTRACT

Language models have achieved impressive performances on dialogue generation tasks. However, when generating responses for a conversation that requires factual knowledge, they are far from perfect, due to an absence of mechanisms to retrieve, encode, and reflect the knowledge in the generated responses. Some knowledge-grounded dialogue generation methods tackle this problem by leveraging facts from Knowledge Graphs (KGs); however, they do not guarantee that the model utilizes a relevant piece of knowledge from the KG. To overcome this limitation, we propose SUbgraph Retrieval-augmented GEneration (SURGE), a framework for generating context-relevant and knowledge-grounded dialogues with the KG. Specifically, our SURGE framework first retrieves the relevant subgraph from the KG, and then enforces consistency across facts by perturbing their word embeddings conditioned by the retrieved subgraph. Then, we utilize contrastive learning to ensure that the generated texts have high similarity to the retrieved subgraphs. We validate our SURGE framework on OpendialKG and KOMODIS datasets, showing that it generates high-quality dialogues that faithfully reflect the knowledge from KG.

研究の動機と目的

• 外部知識が必要な場合にPLMsが生成する対話の事実性欠如を動機づけて是正する。
• 生成を条件付けるために関連するKG事実のみを選択するコンテキスト関連サブグラフリトリーバの開発。
• KG情報をPLMへ統合するための不変で効率的なグラフエンコーディングを提案する。
• グラフ-text対比学習を適用して、生成された応答が取得済みKG知識を反映するようにする。

提案手法

• SURGEを提案：GNNベースのトリプレットリトリーバを用いてKG Gから文脈関連サブグラフZをp_phi(Z|x)で取得。
• Zを順列不変・関係反転不変な形でSORT(INV(Z))と関係認識的摂動betaを用いてPLM埋め込みにエンコードする。
• retrieved subgraphsを周辺化してL_retを用い、金グラフが存在する場合は監視付きL_supを組み合わせ、グラフ-text対照損失L_contを用いたエンドツーエンド訓練を定式化する。
• 知識の事実性を評価するためのKnowledge-verifying Question Answering (KQA)を導入する。
• OpendialKGとKOMODISでSURGEを評価し、知識忠実度と標準指標の改善を示す。

Figure 1: Motivation. Existing knowledge-grounded dialogue generation models with a KG often utilize the multi-hop subgraph associated with entities in the dialogue context (e.g., Jane Austen ). However, they suffer from a couple of the following problems: (1) irrelevant knowledge where only 12.6% o

実験結果

リサーチクエスチョン

• RQ1 対話生成のために文脈関連KG事実を分離する学習済みサブグラフリトリーバは機能するか？
• RQ2 不変なグラフエンコディングは計算爆発を起こさずにKG構造をPLMsに条件付けできるか？
• RQ3 グラフ-text対照学習は忠実度を改善し、知識基盤対話の幻覚を減らすか？
• RQ4 SURGEはベースラインと比較してKGベースの対話データセットでどのように性能を示すか？
• RQ5 KQAベースの評価は生成応答の事実性を捉えられるか？

主な発見

• 対照学習を含むSURGE変種は、OpendialKGでベースラインより高いKQAスコアを達成（例: Table 1のSURGE (contrastive)）。
• 文脈関連サブグラフの取得は全知識およびランダム取得ベースラインをBLEU・ROUGE・F1指標で上回る。
• 不変なグラフエンコディングは置換不変性と関係反転不変性を満たしつつ、空間効率性を維持。
• グラフ-text対照学習は取得事実と生成応答の整合性を向上させ、KF1など関連指標を押し上げる。
• KOMODISの結果はSURGE（自分たちの）方がベースラインより知識基盤生成でより強力な指標を示す。

Figure 2: Framework Overview. Our framework, SURGE, consists of three parts. First, a context-relevant subgraph retriever $p_{\phi}({\mathcal{Z}}|{\bm{x}})$ retrieves the subgraph ${\mathcal{Z}}$ relevant to the given dialogue history ${\bm{x}}$ from a knowledge graph ${\mathcal{G}}$ (e.g., 1-hop KG