[論文レビュー] CREATIVESUMM: Shared Task on Automatic Summarization for Creative Writing

Divyansh Agarwal, Alexander R. Fabbri+8 more|arXiv (Cornell University)|Nov 10, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、書籍の章、映画の台本、プライムタイムのテレビドラマ台本、昼間のソープオペラの台本の4つの分野における創造的執筆の自動要約に焦点を当てた、COLING 2022での共同作業であるCreativeSummを紹介する。収集されたデータセット、評価指標、18件の提出物の分析を通じて、複雑な物語構造やジャンル固有のスタイルに対処する際の課題が明らかになった。ROUGEスコアは0.29から0.39の間であり、忠実性および一貫性の指標においても低水準であった。

ABSTRACT

This paper introduces the shared task of summarizing documents in several creative domains, namely literary texts, movie scripts, and television scripts. Summarizing these creative documents requires making complex literary interpretations, as well as understanding non-trivial temporal dependencies in texts containing varied styles of plot development and narrative structure. This poses unique challenges and is yet underexplored for text summarization systems. In this shared task, we introduce four sub-tasks and their corresponding datasets, focusing on summarizing books, movie scripts, primetime television scripts, and daytime soap opera scripts. We detail the process of curating these datasets for the task, as well as the metrics used for the evaluation of the submissions. As part of the CREATIVESUMM workshop at COLING 2022, the shared task attracted 18 submissions in total. We discuss the submissions and the baselines for each sub-task in this paper, along with directions for facilitating future work in the field.

研究の動機と目的

• ニュースや技術的ドメインを超えた創造的執筆における自動テキスト要約の研究を進めるため。
• 非線形なプロット進行や登場人物の相互依存性を有する長編で構造が複雑な創造的テキストの要約という、未だ十分に検討されていない課題に取り組むため。
• 文学的書籍、映画の台本、プライムタイムのテレビ、昼間のソープオペラという4つの異なる創造的ジャンルの標準化されたデータセットと評価プロトコルを提供するため。
• これらの新規タスクにおける最先端モデルの評価を行い、忠実性、一貫性、抽象的要約能力における限界を特定するため。
• データセットの拡張と評価指標の改善を通じて、今後の研究を刺激するため。

提案手法

• Project Gutenbergと学習ガイドから得たBookSumm-chapters（書籍の章）、ユーザー要約付きの映画台本であるScriptbase、プライムタイムおよび昼間のテレビドラマの台本であるSummScreenを用いて、4つの異なるサブタスクを収集した。
• データセットを統合・フィルタリングし、重複する書籍タイトルを排除し、信頼性が低いまたは物語的でないコンテンツ（例：演劇）を除外した。
• ROUGE、LEXICAL、忠実性指標（SummaC、LP）を用いた評価プロトコルを確立し、事実の整合性とコンテンツカバレッジを評価した。
• 各サブタスクで微調整されたLEDおよびBARTベースのアーキテクチャを含むベースラインモデルを提供し、アブレーションとハイパーパrameterチューニングを実施した。
• COLING 2022で共同作業を主催し、4つのサブタスクにわたり18件の提出物を収集し、比較分析を実施した。
• 再現性と今後の拡張のため、GitHubリポジトリを活用してデータ、説明書、評価スクリプトを共有した。

実験結果

リサーチクエスチョン

• RQ1 既存のシーケンス・トゥ・シーケンスモデルは、構造が複雑な物語的構造を持つ長編の創造的テキストの要約において、どのように機能するか？
• RQ2 文学的フィクション、映画の台本、プライムタイムと昼間のテレビドラマというジャンルごとの要約パフォーマンスに、どのような主な差異が見られるか？
• RQ3 現在のモデルは、創造的コンテンツの要約において、事実の整合性と物語の一貫性をどの程度維持しているか？
• RQ4 ROUGE、SummaC、LPといった異なる評価指標は、創造的テキスト要約における人間の質の判断とどの程度相関しているか？
• RQ5 非伝統的な言語的構造を持つ創造的テキストを要約する際、現在のモデルの主な失敗モードは何か？

主な発見

• ROUGE-1スコアはサブタスク間で0.29から0.39の間であり、最高のパフォーマンスはScriptbase（映画の台本）タスクで記録された。
• すべてのシステムが忠実性指標で低スコアを示した：LPスコアは0.5未満であり、SummaCスコアも一貫して低く、事実の整合性が乏しいことが示された。
• SummScreenFD（昼間のソープオペラ）で最高のパフォーマンスを示したシステムは、短く抽象的（abstractive）な要約を生成しており、ジャンル固有の要約戦略が有効である可能性を示唆した。
• LEDベースのベースラインはSummScreenTMS（プライムタイムのテレビ）でパフォーマンスが低く、繰り返しが多く、抽出的（extractive）な出力を生成した。これはトレーニング最適化の問題による可能性がある。
• SummScreenFDとTMSのROUGE-1スコア（0.29対0.39）の差は、同じドメイン内でも顕著なデータ分布の違いを示しており、重要な課題を浮き彫りにした。
• 映画の台本ではROUGEスコアが高かったが、システムは一貫性と事実の正確性に苦労しており、自動評価指標と人間の評価の間にはギャップが存在することが示された。