[論文レビュー] Counterfactual Story Reasoning and Generation

Lianhui Qin, Antoine Bosselut+4 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本稿では、与えられた反事実的出来事と整合的になるように物語を最小限に修正する必要がある新しいタスク、反事実的物語再執筆（Counterfactual Story Rewriting）を紹介する。著者らは、29,849件の人的アノテーション付き反事実的修正を含むTimeTravelというデータセットを提示し、最先端の言語モデルが因果的整合性を保てないことを示し、神経生成モデルにおける改善された推論能力の必要性を強調している。

ABSTRACT

Counterfactual reasoning requires predicting how alternative events, contrary to what actually happened, might have resulted in different outcomes. Despite being considered a necessary component of AI-complete systems, few resources have been developed for evaluating counterfactual reasoning in narratives. In this paper, we propose Counterfactual Story Rewriting: given an original story and an intervening counterfactual event, the task is to minimally revise the story to make it compatible with the given counterfactual event. Solving this task will require deep understanding of causal narrative chains and counterfactual invariance, and integration of such story reasoning capabilities into conditional language generation models. We present TimeTravel, a new dataset of 29,849 counterfactual rewritings, each with the original story, a counterfactual event, and human-generated revision of the original story compatible with the counterfactual event. Additionally, we include 80,115 counterfactual "branches" without a rewritten storyline to support future work on semi- or un-supervised approaches to counterfactual story rewriting. Finally, we evaluate the counterfactual rewriting capacities of several competitive baselines based on pretrained language models, and assess whether common overlap and model-based automatic metrics for text generation correlate well with human scores for counterfactual rewriting.

研究の動機と目的

• 物語理解および生成における反事実的物語的推論に焦点を当てたベンチマークの不足に対処する。
• 反事実的出来事が提示された際、最小限の修正で因果的に整合性のある物語の再編集を要請するタスクを開発する。
• 反事実的物語再執筆および推論に関する研究を支援する大規模かつ人的アノテーション済みデータセットを構築する。
• 事前学習済み言語モデルのこの新しいタスクにおけるゼロショット、非教師あり、教師あり設定での性能を評価する。
• 自動メトリクスと人間の判断との間の相関関係を、反事実的再執筆の質について評価する。

提案手法

• 反事実的物語再執筆を新しいタスクとして提案：与えられた反事実的出来事と整合的になるように物語を最小限に修正する。
• ROCStoriesコーパスの物語を用いて、クラウドワーカーから29,849件の反事実的修正を収集することでTimeTravelデータセットを構築する。
• 半教師ありまたは弱教師あり学習を支援するため、再編集された終わりが付いていない追加の80,115件の反事実的分岐を含む。
• GPTおよびGPT-2の複数のバリエーションを、ゼロショット、非教師あり、教師あり設定で、この再執筆タスクに対して訓練および評価する。
• 生成品質を評価するためにBERTScore、WMS、およびその他のモデルベースメトリクスを用い、人間のアノテーションと比較する。
• 800件の検証例において、自動メトリクススコアと人間の判断との間のピアソン相関を計算し、メトリクスの信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、最小限の編集で反事実的整合性のある物語再編集を生成できるか？
• RQ2 BLEU、ROUGE、WMS、BERTScoreといった標準的な自動メトリクスは、反事実的再執筆品質の人間の判断とどの程度相関するか？
• RQ3 前提の適合性、プロット整合性、反事実的条件の整合性という観点から、人間がアノテートした品質を最も的確に捉える自動メトリクスは何か？
• RQ4 現在のモデルが反事実的再執筆において、因果的推論ではなくパターンに基づいた生成をどれほど示しているか？
• RQ5 データセットにペアでない反事実的分岐を含めることで、将来の半教師ありまたは自己教師あり学習アプローチがどの程度支援されるか？

主な発見

• GPTやGPT-2のバリエーションを含む最先端の言語モデルは、反事実的整合性のある再編集を生成する際に困難を示し、因果的整合性を維持できないことが多い。
• BLEU や ROUGE といった一般的な自動メトリクスは、反事実的条件の適合性に関して人間の判断と弱い相関を示し、場合によっては負の相関を示すこともあった。
• BERTScoreは反事実的理解に関して人間スコアと最も強い正の相関を示したが、相関は依然として弱く、メトリクスはモデルの性能を効果的に区別できなかった。
• 結果から、現在のモデルは深い因果的推論ではなく表面的なパターン依存に依存していることが示され、推論能力に根本的なギャップがあることが示唆された。
• TimeTravelデータセットは、反事実的物語生成における半教師ありまたは弱教師あり学習の新しい研究分野を可能にした。
• 最小限の編集は因果的不変性を保つために不可欠であり、モデルはしばしば関連する出来事の変更の一方で不変な要素を損なっている。