[論文レビュー] The Shmoop Corpus: A Dataset of Stories with Loosely Aligned Summaries

Atef Chaudhury, Makarand Tapaswi+2 more|arXiv (Cornell University)|Dec 30, 2019

Topic Modeling参考文献 12被引用数 4

ひとこと要約

Shmoopコーパスは、7,234の物語の章と、それに chronologically に整列した複数段落にわたる要約を対で持つ、新しいデータセットを紹介する。時間的順序の整合性を監視信号として活用することで、Cloze形式の質問応答および要約生成タスクで顕著な性能向上を達成した。時間的構造の監視信号が、長編物語の理解能力を向上させることを示した。

ABSTRACT

Understanding stories is a challenging reading comprehension problem for machines as it requires reading a large volume of text and following long-range dependencies. In this paper, we introduce the Shmoop Corpus: a dataset of 231 stories that are paired with detailed multi-paragraph summaries for each individual chapter (7,234 chapters), where the summary is chronologically aligned with respect to the story chapter. From the corpus, we construct a set of common NLP tasks, including Cloze-form question answering and a simplified form of abstractive summarization, as benchmarks for reading comprehension on stories. We then show that the chronological alignment provides a strong supervisory signal that learning-based methods can exploit leading to significant improvements on these tasks. We believe that the unique structure of this corpus provides an important foothold towards making machine story comprehension more approachable.

研究の動機と目的

• 長編で複雑な物語にわたる長距離依存関係をモデル化する必要がある、機械による物語理解の課題に対処すること。
• NarrativeQAのような、弱い監視信号に依存する疎なQAペアに頼る既存のデータセットに対して、より構造的かつスケーラブルな代替案を提供すること。
• 人間の学習支援に類似した、細分化された章レベルの要約を備えたベンチマークデータセットを構築し、NLPモデルのためのより良い学習信号を提供すること。
• 物語と要約の段落間の時間的順序の整合性が、下流の読解理解タスクの性能向上に有効な強力な監視信号として機能するかを評価すること。
• 時間的構造を活用することで、Cloze形式QAおよび簡略化された要約生成タスクにおける性能が向上するかを実証すること。

提案手法

• ShmoopウェブサイトおよびProject Gutenbergから物語の章とShmoopの要約を収集し、手動での解析と章分割を実施してコーパスを構築した。
• コーパス全体の5％（360章）について手動で順序整合性を確認した。要約はダッシュボックス（ボリューム）に基づく段落分割、物語は改行に基づく段落分割を用いた。
• モデルパラメータとアライメント行列を同時に最適化する共同学習フレームワークを導入。最適なアライメントを効率的に計算するために動的プログラミングを活用した修正版CCCPアルゴリズムを採用した。
• 学習段階では、すべての可能なアライメントの最大値を近似するための対照的サンプリング戦略を用い、検証段階では最適なアライメントを直接計算した。
• フレームワークは時間的構造を活用し、会話が多く含まれる場面や濃密な物語の記述においても、一対多や多対一のマッピングを許容する時間的順序を保ったアライメントを計算可能である。
• フレームワークは、Cloze形式の質問応答と複数選択式の要約生成という2つのタスクで評価され、標準的なNLP指標を用いて性能が測定された。

実験結果

リサーチクエスチョン

• RQ1 物語と要約の段落間の時間的順序の整合性が、機械理解モデルの学習に強力な監視信号として機能するか？
• RQ2 細分化された章レベルの要約を用いる場合と、全体の物語を要約する粗い要約を用いる場合とを比較した場合、読解ベンチマークの向上にどの程度差が現れるか？
• RQ3 物語テキストにおける長距離依存関係をモデル化することで、Cloze形式の質問応答および要約生成タスクの性能がどの程度向上するか？
• RQ4 モデルパラメータと同時にアライメントを学習する共同最適化フレームワークは、明示的なアライメント監視なしのエンドツーエンド学習に比べて、より優れた性能を達成できるか？
• RQ5 会話が多く含まれるシーンや濃密な物語の記述のような変化に対して、時間的構造はどの程度頑健か？

主な発見

• Shmoopコーパスには、231の物語（145部の小説、62部の戯曲、24編の短編小説）が含まれ、7,234の章-要約ペアを提供しており、短編と長編の物語データのバランスが取れている。
• 手動でアラインメントされた要約の段落のうち1.2％が時間的順序から逸脱しており、データ構造の高い時間的整合性を示している。
• 時間的順序の整合性により、Cloze形式の質問応答および要約生成タスクの両方で顕著な性能向上が達成された。これは、監視信号としての価値を示している。
• 動的プログラミングに基づくアライメント計算を用いた共同学習フレームワークは、ベースライン手法よりも優れた結果を達成した。特に、複数の章にわたる長距離依存関係のモデル化において顕著な向上が見られた。
• このデータセットは、会話シーンに代表される一対多のアライメントパターンや、濃密な物語の記述に代表される多対一のアライメントパターンを含み、さまざまな物語構造に適応可能である。
• 結果から、構造的で時間的に整列した要約は、複雑な長編物語の理解と一般化能力の向上に顕著な効果をもたらす可能性があると示唆された。