[論文レビュー] Multiview Contextual Commonsense Inference: A New Dataset and Task

Siqi Shen, Deepanway Ghosal+4 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用数 7

ひとこと要約

この論文は、4つの次元—原因、続く出来事、動機、反応—における会話からの多視点共通認識推論を人間がアノテートした8,351件のデータセットCICERO v2を紹介する。また、概念ノイズ除去と発話順序整列といった新しい目的関数で事前学習されたT5-LargeモデルDIALeCTを提案し、特にリソースが限られた状況下で、微調整されたT5-Largeよりも一貫した性能向上を達成している。20%の訓練データでの精度向上は5%以上にのぼる。

ABSTRACT

Contextual commonsense inference is the task of generating various types of explanations around the events in a dyadic dialogue, including cause, motivation, emotional reaction, and others. Producing a coherent and non-trivial explanation requires awareness of the dialogue's structure and of how an event is grounded in the context. In this work, we create CICEROv2, a dataset consisting of 8,351 instances from 2,379 dialogues, containing multiple human-written answers for each contextual commonsense inference question, representing a type of explanation on cause, subsequent event, motivation, and emotional reaction. We show that the inferences in CICEROv2 are more semantically diverse than other contextual commonsense inference datasets. To solve the inference task, we propose a collection of pre-training objectives, including concept denoising and utterance sorting to prepare a pre-trained model for the downstream contextual commonsense inference task. Our results show that the proposed pre-training objectives are effective at adapting the pre-trained T5-Large model for the contextual commonsense inference task.

研究の動機と目的

• 会話における高品質で多様な人間がアノテートした共通認識推論の不足に取り組むこと、特に多視点推論の観点から。
• 既存のデータセットが、人間が書いた複数の異なる回答ではなく、敵対的にフィルタリングされた低多様性なモデル生成説明に依存しているという限界を克服すること。
• 会話理解のための言語モデルに、より深い共通認識推論能力を備えるための事前学習フレームワークを開発すること。
• ラベル付きデータが限られるリソースが限られた状況下で、共通認識に配慮した事前学習目的関数の有効性を評価すること。
• 多視点で非自明な説明を想定したデータセットとモデルアーキテクチャを設計することで、会話におけるより強固で多様な共通認識推論を可能にすること。

提案手法

• CICERO v2は、DailyDialog、MuTual、DREAMの3つの高品質な会話データセットから、文脈的推論質問ごとに複数の異なる人間がアノテートした説明を集める形で構築された。
• データセットには2,379件の会話からなる8,351件のインスタンスが含まれており、4つの推論タイプ（原因、続く出来事、動機、感情的反応）をカバーしている。
• DIALeCTは、CICEROを用いて、概念ノイズ除去（マスクされた共通認識的概念を回復させる）と発話順序整列（会話の構造と整合性を学ぶ）といった新しい目的関数で事前学習されている。
• これらの事前学習目的関数は、文脈的根拠と共通認識知識の認識を高め、会話履歴に基づく推論を改善することを目的として設計されている。
• 事前学習後、DIALeCTは複数正解の選択タスクに微調整され、候補から複数の正しい回答を選択する。
• 20%の訓練データでのみ学習させることでリソースが限られた状況下での評価を行い、モデルの頑健性と一般化性能を示している。

実験結果

リサーチクエスチョン

• RQ1 標準的な微調整と比較して、会話固有で共通認識に配慮した目的関数で事前学習された大規模言語モデルは、多視点共通認識推論の性能を向上させることができるか？
• RQ2 CICERO v2にアノテートされた人間の推論の意味的多様性は、既存のデータセットと比較して、どれほど優れているか。特に、重複のない性質と妥当性の観点から。
• RQ3 概念ノイズ除去と発話順序整列という事前学習目的関数は、多視点共通認識推論タスクの下流性能をどの程度向上させるか？
• RQ4 これらの目的関数で事前学習することで、ラベル付きデータが限られるリソースが限られた状況下での一般化性能が向上するか？
• RQ5 会話固有の共通認識目的関数で事前学習されたモデルは、微調整データが最小限であっても、標準的なT5-Largeモデルを上回る性能を示せるか？

主な発見

• CICERO v2は2,379件の会話からなる8,351件のインスタンスを含み、1つのインスタンスごとに複数の異なる人間がアノテートした説明が付与されており、従来のデータセットと比較して顕著に高い意味的多様性を示している。
• 概念ノイズ除去と発話順序整列の目的関数で事前学習されたDIALeCTモデルは、20%の訓練データでのみ微調整された場合でも、T5-Largeよりも5%以上の性能向上を達成している。
• 複数正解選択タスクにおいて、DIALeCTはリソースが限られた状況下でも高い性能を維持しており、同じデータ量（20%）での精度低下は20%である一方、T5-Largeは5%にとどまっている。
• 事前学習目的関数が共通認識知識をモデルに効果的に統合していることが、原因、続く出来事、動機、反応の4つの推論タイプすべてで一貫した精度向上によって裏付けられている。
• モデルの性能向上は特にリソースが限られた状況下で顕著であり、これはDIALeCTが標準的な微調整よりもより頑健で一般化可能な推論パターンを学習していることを示唆している。
• DIALeCTは、すべての評価設定でT5-Largeベースラインを上回っており、提案された事前学習目的関数が会話における多視点共通認識推論に有効であることが示された。