[論文レビュー] Seamlessly Integrating Factual Information and Social Content with Persuasive Dialogue

Maximillian Chen, Weiyan Shi+5 more|arXiv (Cornell University)|Mar 15, 2022

Speech and dialogue systems被引用数 5

ひとこと要約

本論文は、会話行動分類と微細な説得戦略に基づく条件付き生成を活用することで、説得的会話において事実情報と社会的反応をシームレスに統合するモジュラー対話システム「Response-Agenda Pushing (RAP)」フレームワークを提案する。RAPは、すべての次元（包括的能⼒と親しみやすさを含む）で強力なエンドツーエンドモデル（BART）を上回るユーザー評価を達成し、社会的科学理論に基づいた明示的な社会的およびタスク指向統合を通じて、一貫性と説得力が向上することを示した。

ABSTRACT

Complex conversation settings such as persuasion involve communicating changes in attitude or behavior, so users' perspectives need to be addressed, even when not directly related to the topic. In this work, we contribute a novel modular dialogue system framework that seamlessly integrates factual information and social content into persuasive dialogue. Our framework is generalizable to any dialogue tasks that have mixed social and task contents. We conducted a study that compared user evaluations of our framework versus a baseline end-to-end generation model. We found our framework was evaluated more favorably in all dimensions including competence and friendliness, compared to the end-to-end model which does not explicitly handle social content or factual questions.

研究の動機と目的

• エンドツーエンドモデルではしばしば別個処理されたり無視されたりする、説得的対話システムにおける事実情報と社会的コンテンツの統合という課題に取り組むこと。
• 単一で一貫性のある対話フロー内で、タスク指向の目的（例：質問への回答）と社会的目標（例：関係構築）の両方を支援する汎用性の高いフレームワークを開発すること。
• グリスの法則や感情的関与戦略などの社会的科学の原則に基づいて応答を根拠づけることで、説得的対話におけるユーザー体験を向上させること。
• 会話行動に基づいて条件付き生成することで、微細な説得戦略（例：感情的訴求、信頼性訴求）に対する細かいつながりを可能にすること。
• PersuasionForGoodデータセットを用いた人間評価を通じて、RAPを強力なエンドツーエンドベースラインと比較して、フレームワークを実証的に評価すること。

提案手法

• RAPは、3つのコアモジュールで構成されるモジュラーアーキテクチャを採用している：社会的応答モジュール、事実的応答モジュール、およびアジェンダプushingモジュール。
• 社会的応答モジュールは、事前学習言語モデルをゼロショット微調整することで、共感的かつ文脈に適した応答を生成する。
• 事実的応答モジュールは、意味的類似度で訓練データをクラスタリングするためにSentence-BERTを用い、応答を取得および生成する。
• アジェンダプushingモジュールは、会話行動（例：「感情的訴求」、「信頼性訴求」）を条件として、大規模言語モデルを用いて説得的応答を生成する。
• ディスパッチャーモジュールは、検出された会話行動に基づいてユーザー発話のルーティングを決定し、モジュラーかつ的確な応答生成を実現する。
• このフレームワークはPersuasionForGoodデータセット上で訓練および評価されており、アジェンダプushingおよび応答モジュールの条件付けに会話行動のアノテーションが使用されている。

実験結果

リサーチクエスチョン

• RQ1 明示的に事実応答と社会的応答を統合するモジュラー対話システムは、エンドツーエンドモデルと比較して、ユーザーが感じる包括的能⼒と親しみやすさを向上させることができるか？
• RQ2 微細な説得戦略（例：感情的訴求）に対する制御を強化することで、説得的対話システムの有効性はどの程度向上するか？
• RQ3 社会的承認と事実の正確さの統合は、説得的会話におけるユーザーの関与度と感じられる共感性にどのような影響を与えるか？
• RQ4 RAPフレームワークは、寄付勧誘を超えた他の対話タスクにも一般化可能か？
• RQ5 会話行動分類の正確性が、アジェンダプushingモジュールのパフォーマンスに与える影響はいかほどか？

主な発見

• RAPは、包括的能⼒、親しみやすさ、全体の満足度を含むすべてのユーザー評価次元で、エンドツーエンドのBARTベースラインを上回る評価を受けた。
• フレームワークは、ユーザーがRAPが社会的サインにさらに自然かつ共感的に対応していると報告したように、より高い一貫性と説得力を持つことが確認された。
• アジェンダプushingモジュールは62.3%の会話行動分類精度を達成したが、これは下位の分類器のF1スコアが0.66であったことに起因し、会話行動検出の限界に起因するパフォーマンスの上限が示された。
• 会話行動分類がなければ、BARTモデルの会話行動精度は30%未満に低下し、説得的応答生成における構造的制御の重要性が明確に示された。
• 社会的応答モジュールはゼロショット設定でも高品質な出力を達成しており、ドメイン間での高い転送性を示した。
• 事実的応答モジュールは、Sentence-BERTを用いたクラスタリングにより、正確な応答の取得および生成を効果的に行い、信頼性の高い事実統合を支援した。