[論文レビュー] Think Before You Speak: Using Self-talk to Generate Implicit Commonsense Knowledge for Response Generation

Pei Zhou, Karthik Gopalakrishnan+6 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 50被引用数 4

ひとこと要約

本稿では、一貫した生成モデルを用いて最初に暗黙の常識的知識を生成し、その後その知識に基づいて応答を生成する自己対話的手法を提案する。この手法により、エンドツーエンドモデルと比較して応答品質および常識的整合性が顕著に向上し、人的評価では75%のケースで高品質な知識生成が確認された。

ABSTRACT

Implicit knowledge, such as common sense, is key to fluid human conversations. Current neural response generation (RG) models are trained end-to-end, omitting unstated implicit knowledge. In this paper, we present a self-talk approach that first generates the implicit commonsense knowledge and then generates response by referencing the externalized knowledge, all using one generative model. We analyze different choices to collect knowledge-aligned dialogues, represent implicit knowledge, and elicit knowledge and responses. We introduce three evaluation aspects: knowledge quality, knowledge-response connection, and response quality and perform extensive human evaluations. Our experimental results show that compared with end-to-end RG models, self-talk models that externalize the knowledge grounding process by explicitly generating implicit knowledge also produce responses that are more informative, specific, and follow common sense. We also find via human evaluation that self-talk models generate high-quality knowledge around 75% of the time. We hope that our findings encourage further work on different approaches to modeling implicit commonsense knowledge and training knowledgeable RG models.

研究の動機と目的

• エンドツーエンドニューラル応答生成モデルにおける暗黙の常識的知識の欠如に対処すること。
• 自己対話による暗黙の知識の外部化が、応答品質および一貫性に与える影響を調査すること。
• 一つの学習プロセス内で知識と応答を両方生成する統合型生成モデルの開発。
• 生成された知識の品質、知識と応答の関連性、および全体的な応答パフォーマンスの評価。

提案手法

• 一貫した生成モデルを用いて、最初に暗黙の常識的知識を生成し、その後その知識に基づいて応答を生成する。
• 知識と応答の整合性を保つために、特定のデータ収集戦略を用いて知識に整合した対話データを収集する。
• 暗黙の知識を自然言語テキストとして表現し、モデルがアクセス可能で推論可能な形に外部化する。
• 一つのモデルアーキテクチャ内で二段階の生成プロセスを用いて知識と応答を発生させる。
• 人的評価を用いて、知識の品質、知識と応答の関連性、および応答の品質を評価する。
• 制御された評価指標のもとで、自己対話モデルと標準的なエンドツーエンド応答生成モデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 自己対話による暗黙の常識的知識の生成が、オープンドメイン対話における応答品質の向上に寄与するか。
• RQ2 生成された知識が文脈および最終的な応答とどれほど整合しているか。
• RQ3 モデルが生成する暗黙の知識の品質はどの程度で、その頻度はどれほどで、関連性と正確性があるか。
• RQ4 情報量および常識的整合性の観点から、自己対話モデルはエンドツーエンド応答生成モデルと比較してどのように異なるか。

主な発見

• 自己対話モデルは、エンドツーエンドモデルと比較して、はるかに情報量が多く、具体的な応答を生成する。
• 自己対話アプローチにより、常識的整合性が向上し、文脈に適した応答が生成される。
• 人的評価では、モデルが約75%の確率で高品質な暗黙の知識を生成していることが確認された。
• 自己対話モデルでは、知識と応答の関連性が強いため、応答が明示的な知識に基づいてよりよく根拠付けられている。
• 知識品質、知識と応答の関連性、応答品質という3つの評価次元すべてにおいて、自己対話モデルはエンドツーエンドベースラインを上回った。
• 知識の根拠プロセスを外部化することで、より信頼性が高く、解釈可能な応答生成が実現した。