[論文レビュー] A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories

Nasrin Mostafazadeh, Nathanael Chambers+6 more|arXiv (Cornell University)|Apr 6, 2016

Topic Modeling参考文献 26被引用数 97

ひとこと要約

本稿では、50,000件の五文から成る常識的物語からなる高品質なコーパス、ROCStoriesを紹介するとともに、より深い言語理解を評価するための新しい評価フレームワークとして、ストーリークローズテストを提案する。このフレームワークでは、モデルに二つの選択肢の中から正しい物語の結末を選ぶことを課し、たとえ最先端のモデルであっても、浅い表現に基づくものでは困難であることが示され、因果的および時間的イベント関係のより豊かな意味的モデリングの必要性が浮き彫りになる。

ABSTRACT

Representation and learning of commonsense knowledge is one of the foundational problems in the quest to enable deep language understanding. This issue is particularly challenging for understanding casual and correlational relationships between events. While this topic has received a lot of interest in the NLP community, research has been hindered by the lack of a proper evaluation framework. This paper attempts to address this problem with a new framework for evaluating story understanding and script learning: the 'Story Cloze Test'. This test requires a system to choose the correct ending to a four-sentence story. We created a new corpus of ~50k five-sentence commonsense stories, ROCStories, to enable this evaluation. This corpus is unique in two ways: (1) it captures a rich set of causal and temporal commonsense relations between daily events, and (2) it is a high quality collection of everyday life stories that can also be used for story generation. Experimental evaluation shows that a host of baselines and state-of-the-art models based on shallow language understanding struggle to achieve a high score on the Story Cloze Test. We discuss these implications for script and story learning, and offer suggestions for deeper language understanding.

研究の動機と目的

• 常識的物語理解やスクリプト学習のための体系的でない評価フレームワークの欠如に対処すること。
• 因果的および時間的関係が豊富に含まれる、高品質なクラウドソーシングによる五文から成る常識的物語のコーパスを作成すること。
• 従来の物語クローズテストよりもより強固なベンチマークとして、ストーリークローズテストを提案すること。本テストは、イベント予測ではなく、完全な文の完成を重視する。
• 神経ネットワークやリtrieバルベースの手法を含む、さまざまなモデルのこの新しいベンチマーク上での有効性を評価し、現在のアプローチの限界を特定すること。
• 最先端のモデルですらランダムベースラインをわずかに上回るにとどまることを示すことで、より深い意味的理解を持つモデルの開発を促進すること。

提案手法

• ROCStoriesコーパスは、日常的な出来事に焦点を当て、明確な因果的および時間的構造を持つ五文物語を誘導するように設計されたプロンプトを用いたクラウドソーシングによって収集された。
• 各物語は、人間のアノテーターによる二重検証を含む複数ラウンドの品質管理を経て、一貫性および常識的妥当性が保証された。
• ストーリークローズテストの形式では、前の四文と因果的・時間的整合性を保つ正しい最終文を二つの選択肢から選ぶ必要がある。
• 合計3,742件の検証済みストーリークローズテストケースが作成され、人間による検証済みゴールラベルにより高い信頼性が確保された。
• 複数のベースラインモデルが評価された。頻度ベース、n-gram、センチメントベース、スキップ・スコップ、ナラティブチェーン、およびDSSMのような深層ニューラルモデルを含む。これらはすべてROCStoriesコーパス上で訓練または適合された。
• DSSMモデルは、文脈と候補となる結末を深層ニューラルネットワークを用いて共通のベクトル空間にマップし、コサイン類似度を用いてスコアを算出するが、テストセットで最高の正答率51.0％を記録した。これは、常に最初の選択肢を選ぶベースライン（51.3％）をわずかに上回るにとどまり、深い理解の進展は限定的であることが示された。

実験結果

リサーチクエスチョン

• RQ1 完全な文の完成を求める新しい評価フレームワークは、物語クローズタスクにおけるイベント予測よりも、より深い常識的理解を的確に評価できるか？
• RQ2 浅い言語的特徴に基づく現在の最先端モデルは、未学習の常識的物語構造への一般化にどの程度失敗するのか？
• RQ3 五文から成る常識的物語の高品質で大規模なクラウドソーシングコーパスは、物語理解システムの堅牢な評価を可能にするか？
• RQ4 物語完成タスクでランダムベースラインを著しく上回るパフォーマンスを達成するには、どのような意味的表現が必要か？
• RQ5 ストーリークローズテストは、真の常識的推論を学習するモデルと、データ内の表面的なパターンを利用しているモデルを効果的に区別できるか？

主な発見

• 完全な文の結末を選ぶ必要があるストーリークローズテストは、従来の物語クローズテストよりもはるかに困難であり、テストされたすべてのモデルが50％のランダムベースラインをわずかに上回るにとどまった。
• 最高のパフォーマンスを示したDSSMモデルは、テストセットで51.0％の正答率を記録したが、これは常に最初の選択肢を選ぶベースライン（51.3％）を0.7ポイントしか上回っておらず、深い理解の進展は限定的であることを示している。
• イベントレベルの表現に依存するモデル、例えばナラティブチェーンは、動詞や文法的役割を超えた複雑なイベント意味を捉えられておらず、テストセットで47.8％の正答率にとどまった。
• 結果から、浅い言語的特徴に依存する現在のモデルは、物語における因果的および時間的整合性を適切にモデリングできていないことが示され、因果的および時間的関係をより豊かに表現する意味的表現の必要性が浮き彫りになった。
• 人間のパフォーマンスは100％であり、データセットの高品質さと非自明性が確認され、より深い言語理解のベンチマークとしての妥当性が裏付けられた。
• 本研究は、従来の物語クローズテストが、モデルに表面的なパターンの利用を奨励していた可能性を示し、真の常識的知識の習得を促すために、ストーリークローズテストのようなより強固な評価フレームワークへの移行が求められることを示唆している。