[論文レビュー] Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs

Houyu Zhang, Zhenghao Liu+2 more|arXiv (Cornell University)|Nov 7, 2019

Topic Modeling参考文献 49被引用数 11

ひとこと要約

本稿では、常識的知識グラフを用いたガイド付き走査として対話をモデル化する、ConceptFlowを提案する。グラフアテンション機構を用いて、複数ホップの概念のシフトをナビゲートする。GPT-2と比較して70%少ないパラメータで、より情報量が多く、多様性に富み、トピックに即した応答を生成する。これは、即時の文脈を超えて概念の流れを明示的にモデル化することで達成される。

ABSTRACT

Human conversations naturally evolve around related concepts and scatter to multi-hop concepts. This paper presents a new conversation generation model, ConceptFlow, which leverages commonsense knowledge graphs to explicitly model conversation flows. By grounding conversations to the concept space, ConceptFlow represents the potential conversation flow as traverses in the concept space along commonsense relations. The traverse is guided by graph attentions in the concept graph, moving towards more meaningful directions in the concept space, in order to generate more semantic and informative responses. Experiments on Reddit conversations demonstrate ConceptFlow's effectiveness over previous knowledge-aware conversation models and GPT-2 based models while using 70% fewer parameters, confirming the advantage of explicit modeling conversation structures. All source codes of this work are available at https://github.com/thunlp/ConceptFlow.

研究の動機と目的

• 神経的対話モデルにおける繰り返しやトピックから外れた応答の制限を解消するため、構造化された知識に接地した対話を目的とする。
• 人間の対話における自然な概念のシフト、つまり関連するが遠く離れた概念を経てトピックが進化する様子をモデル化する。
• 常識的知識グラフ内の複数ホップの経路を明示的に走査することで、応答の多様性と情報量を向上させる。
• GPT-2のような大規模な自己回帰モデルと比較して、パラメータ効率を高めつつ、性能を維持または上回ることを目的とする。

提案手法

• ConceptFlowは、入力に含まれる接地された概念から出発し、常識的知識グラフをガイド付き走査として対話生成を表現する。
• グラフアテンション機構を用いて、関連する概念を動的に注目し、概念空間内の意味的意味のある方向へ走査を誘導する。
• モデルは、ゼロホップ（即時の）およびマルチホップ（遠く離れた）の両方の概念に注目することで応答を生成し、 pruning ステップにより高品質な概念をフィルタリングする。
• デコード中に低関連性の概念をフィルタリングするゲート機構（$\sigma^*$）を用い、トピック関連の概念に焦点を当てる。
• グラフアテンション機構は、走査経路における各概念の重要性を決定する注意スコア（$\beta^{e_i}$, $\gamma^f$）を計算する。
• モデルは、真の応答の尤度を最大化するとともに、マルチホップ走査による遠く離れた関連概念のカバレッジを促進するように学習する。

実験結果

リサーチクエスチョン

• RQ1 常識的知識グラフ内でのガイド付き走査として対話をモデル化することは、静的知識統合と比較して応答の質と多様性を向上させることができるか？
• RQ2 マルチホップの概念走査は、生成された応答の情報量とトピックの関連性にどのように影響するか？
• RQ3 グラフアテンション機構は、応答生成中に意味的な概念遷移を選択するのをどの程度効果的に支援するか？
• RQ4 概念の流れを明示的にモデル化することは、GPT-2のような大規模な自己回帰モデルと比較して、より高いパラメータ効率を達成できるか？

主な発見

• ConceptFlowは、Redditの対話において、自動評価および人的評価の両面で、seq2seqモデルおよび従来の知識認識モデルを上回る性能を示した。
• 2ホップの概念走査ではゴールデンコンセプトの61%のリCALLが達成され、3ホップでは81%に上昇し、マルチホップ推論の価値を確認した。
• CCMやGPT-2と比較して、ConceptFlowはより情報量が多く、繰り返しの少ない応答を生成した。事例研究では、入力にない『sound』や『check』といった概念を効果的に活用していることが示された。
• 微調整されたGPT-2と比較して70%少ないパラメータで優れた性能を達成した。これは、高いパラメータ効率を示している。
• グラフアテンション機構は、ゴールデンコンセプトおよびゼロホップコンセプトを効果的に優先し、関連する2ホップコンセプトに対しても高い注目度を示した。これにより、意味的な走査を効果的に誘導できる能力が確認された。
• 人的評価では、ConceptFlowが、特に遠く離れてはいるが関連性のあるコンセプトを統合する点で、ベースラインより適切で情報量の多い応答を生成することが確認された。