[論文レビュー] CICERO: A Dataset for Contextualized Commonsense Inference in Dialogues

Deepanway Ghosal, Siqi Shen+3 more|arXiv (Cornell University)|Mar 25, 2022

Topic Modeling被引用数 4

ひとこと要約

CICEROは、5,672組の対話から収集された53,105件の文脈的常識的推論を含む大規模で会話中心のデータセットであり、原因、続く出来事、前提条件、動機、感情的反応の5つの推論タイプをカバーしている。このデータセットは、生成的推論や複数選択タスクといった高度な自然言語処理タスクを可能にし、seq2seqモデル（T5、Unified QA）が一括符号化により回答候補を統合的に処理するため、自己回帰的モデル（RoBERTa、ELECTRA）を上回る性能を発揮する。

ABSTRACT

This paper addresses the problem of dialogue reasoning with contextualized commonsense inference. We curate CICERO, a dataset of dyadic conversations with five types of utterance-level reasoning-based inferences: cause, subsequent event, prerequisite, motivation, and emotional reaction. The dataset contains 53,105 of such inferences from 5,672 dialogues. We use this dataset to solve relevant generative and discriminative tasks: generation of cause and subsequent event; generation of prerequisite, motivation, and listener's emotional reaction; and selection of plausible alternatives. Our results ascertain the value of such dialogue-centric commonsense knowledge datasets. It is our hope that CICERO will open new research avenues into commonsense-based dialogue reasoning.

研究の動機と目的

• 会話における文脈に依存する常識的推論データセットの不足、特に発話文に明示的に記載されていない暗黙の推論の欠如に対処すること。
• 孤立したフレーズを超えた、会話レベルの洗練された常識的推論を捉える、大規模で人間がアノテートしたデータセットの構築。
• 原因、動機、感情的反応の推論を含む、文脈的推論を要する生成的および識別的タスクを支援すること。
• 明示的な事実ではなく、会話文脈に根ざした暗黙的で仮説的な常識的知識を用いた推論を可能にすること。
• 複雑で現実世界に即した会話的推論タスクにおける会話理解システムの評価ベンチマークを提供すること。

提案手法

• アノテーターは会話とターゲット発話を提示され、原因、続く出来事、前提条件、動機、感情的反応の5つのタイプについて1文の推論を生成するよう指示される。
• 推論は明示的（文脈に明確に存在する）または仮説的（文脈が不十分な場合に常識的知識や世界知識に基づく）のいずれか。
• 詳細なガイドラインに従って人間によるアノテーションが行われ、文法的正しさ、簡潔さ、会話文脈との整合性が保証される。
• タスクはこのデータセットを基盤に設計され、生成的タスク（例：原因や感情的反応の生成）と識別的タスク（例：複数の選択肢の中から妥当な代替案を選択）が含まれる。
• モデルの評価には単一回答および複数回答選択タスクが用いられ、T5とUnified QAはseq2seq生成に、RoBERTa/ELECTRAは系列分類に使用される。
• T5とUnified QAでは回答候補の同時符号化が、RoBERTaやELECTRAの個別符号化よりも性能を向上させ、特に複数回答設定で顕著に効果を示す。

実験結果

リサーチクエスチョン

• RQ1 推論が暗黙的である場合、モデルは会話内の発話を対象に、妥当な常識的推論（例：原因、動機）を効果的に生成できるか？
• RQ2 回答候補の同時符号化は、個別符号化と比較して複数選択タスクの性能をどのように向上させるか？
• RQ3 単一回答と複数回答のインスタンス間のデータの不均衡が、常識的推論タスクにおけるモデル性能に与える影響はどの程度か？
• RQ4 T5 や Unified QA といった最先端モデルは、RoBERTa や ELECTRA と比較して、会話固有の常識的推論にどの程度一般化できるか？
• RQ5 会話文脈に根ざした常識的知識は、ConceptNet や ATOMIC のような静的知識ベースを越えて推論を向上させられるか？

主な発見

• T5 と Unified QA は、回答候補の同時符号化により、RoBERTa や ELECTRA よりも複数選択タスクで優れた性能を示す。これは、タスクに必要な情報をより効果的に捉えているためである。
• モデル間の性能差は、特に複数回答選択タスクで顕著であり、T5 と Unified QA はそれぞれ正確一致率が 3.38% および 3.60% にとどまるが、これはデータの不均衡に起因する。
• seq2seq モデル（T5、Unified QA）は、系列分類モデル（RoBERTa、ELECTRA）と比較して、同じタスクで顕著に優れた性能を示しており、同時符号化の利点が裏付けられている。
• このデータセットにより、明示的な原因や動機が会話に存在しない場合でも、アノテーターが妥当な推論を的確に生成できることから、仮説的常識的推論の評価が有効に行えることが示された。
• CICERO は、文脈に依存する常識的推論が会話理解において不可欠であることを示しており、ATOMIC や ConceptNet のような文脈フリーな知識ベースに依存するモデルは、会話レベルのニュアンスを捉えられていない。
• 人間による仮説的推論によるデータセット構築は、暗黙的で現実世界の会話的推論を処理できるモデルの訓練に、実現可能かつ価値ある手法であることを示している。