[論文レビュー] Probing Causal Common Sense in Dialogue Response Generation.

Pei Zhou, Pegah Jandaghi+4 more|arXiv (Cornell University)|Apr 19, 2021

Topic Modeling被引用数 4

ひとこと要約

本稿では、会話的共通認識を応答の因果的説明として形式化するタスク「CEDAR」を紹介し、応答生成モデルがこれらの説明に関して論理的に推論できるかどうかを評価するためのプロービングフレームワークを提案する。結果から、モデルは論理的妥当性には苦労するが、文法的な自然さは容易に検出できることが示された。

ABSTRACT

Communication is a cooperative effort that requires reaching mutual understanding among the participants. Humans use commonsense reasoning implicitly to produce natural and logically-coherent responses. As a step towards fluid human-AI communication, we study if response generation (RG) models can emulate human reasoning process and use common sense to help produce better-quality responses. We aim to tackle two research questions: how to formalize conversational common sense and how to examine RG models capability to use common sense? We first propose a task, CEDAR: Causal common sEnse in DiAlogue Response generation, that concretizes common sense as textual explanations for what might lead to the response and evaluates RG models behavior by comparing the modeling loss given a valid explanation with an invalid one. Then we introduce a process that automatically generates such explanations and ask humans to verify them. Finally, we design two probing settings for RG models targeting two reasoning capabilities using verified explanations. We find that RG models have a hard time determining the logical validity of explanations but can identify grammatical naturalness of the explanation easily.

研究の動機と目的

• 会話的共通認識を会話応答への因果的テクスト的説明として形式化すること。
• 応答生成モデルがこれらの説明に関して論理的に推論できるかどうかを評価すること。
• 人間による検証を用いて説明の生成と検証を自動化する手法を開発すること。
• RGモデルにおける2つの異なる推論能力をテストするプロービング設定を設計すること：論理的妥当性と文法的自然さ。
• 現在のRGモデルが会話において人間らしく共通認識を再現している程度を評価すること。

提案手法

• 共通認識を会話文脈と応答を結ぶ因果的説明として定式化するCEDARを提案する。
• 与えられた会話-応答ペアに対して候補となる説明を生成する自動パイプラインを設計する。
• 人間のアノテーションを用いて生成された説明の品質と妥当性を検証する。
• 2つのプロービング設定を構築する：1つは説明の論理的妥当性へのモデル感受性をテストし、もう1つは文法的自然さへの感受性をテストする。
• 妥当な説明と不適切な説明の下での損失を比較して、モデルの行動を測定する。
• 妥当な説明と不適切な説明の間の損失の差を、論理的推論能力の代理指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 会話応答生成における会話的共通認識を、どのように因果的説明として形式的に表現できるか？
• RQ2 応答生成モデルは、因果的説明の論理的妥当性をどの程度検出できるか？
• RQ3 RGモデルは文法的に自然な説明とそうでない説明を区別できるか？
• RQ4 プロービング設定において、妥当な因果的説明と不適切な説明を与えられたとき、モデルの損失はどのように異なるか？
• RQ5 現在のRGモデルは、人間らしく共通認識を再現する点で、どのような限界を示しているか？

主な発見

• RGモデルは因果的説明の論理的妥当性を判断する際に顕著な困難を示しており、深い共通認識の推論が欠如していることを示唆している。
• モデルは説明の文法的自然さを容易に特定できており、表面的な流暢さに敏感であることが示唆される。
• 妥当な説明と不適切な説明の間の損失差が小さいため、論理的根拠に基づく識別能力が弱いことが示唆される。
• 人間による検証済みの説明は、共通認識推論における信頼性の高いプロービングベンチマークを構築するために不可欠である。
• 現在のRGモデルは、応答を生成する際、論理的一致性よりも文の流暢さと整合性を優先している。
• 人間の推論とモデルの行動との間のギャップは、人間らしく会話理解を達成する上で重要な課題を示している。