[論文レビュー] SummScreen: A Dataset for Abstractive Screenplay Summarization

Mingda Chen, Zewei Chu+2 more|arXiv (Cornell University)|Apr 14, 2021

Topic Modeling被引用数 27

ひとこと要約

SummScreenは、テレビシリーズの文字起こしと人手で作成された要約を提供し、抽象的な脚本要約の研究を行うために、対話からのプロット抽出の課題とエンティティ中心の評価指標を強調します。Oracleの抽出ベースラインはニューラルモデルを上回り、非Oracleハイブリッドは内容選択の改善余地がある中で忠実性が競争力を示します。

ABSTRACT

We introduce SummScreen, a summarization dataset comprised of pairs of TV series transcripts and human written recaps. The dataset provides a challenging testbed for abstractive summarization for several reasons. Plot details are often expressed indirectly in character dialogues and may be scattered across the entirety of the transcript. These details must be found and integrated to form the succinct plot descriptions in the recaps. Also, TV scripts contain content that does not directly pertain to the central plot but rather serves to develop characters or provide comic relief. This information is rarely contained in recaps. Since characters are fundamental to TV series, we also propose two entity-centric evaluation metrics. Empirically, we characterize the dataset by evaluating several methods, including neural models and those based on nearest neighbors. An oracle extractive approach outperforms all benchmarked models according to automatic metrics, showing that the neural models are unable to fully exploit the input transcripts. Human evaluation and qualitative analysis reveal that our non-oracle models are competitive with their oracle counterparts in terms of generating faithful plot events and can benefit from better content selectors. Both oracle and non-oracle models generate unfaithful facts, suggesting future research directions.

研究の動機と目的

• Narrative, dialogue-driven text where plot details are scattered across transcriptsの要約を促進する抽象要約の動機付け。
• テレビ番組から長編・エピソード単位で、長い会話と複数話者による対話、そしてプロット統合を研究するための大規模データセットを提供。
• 生成要約におけるキャラクターの網羅と関係を評価する2つのエンティティ中心の評価指標を導入。
• ニューラル、最近傍、ハイブリッドアプローチをベンチマークして、現状の能力とギャップを理解する。

提案手法

• ForeverDreamingとTVMegaSiteの文字起こしと人手で作成された要約からSummScreenを構築。
• 長い文字起こしを処理するためにLongformerエンコーダを[EOS]トークン化と共に用い、Transformerデコーダへ入力。
• 最近傍ベースライン（文字起こし対文字起こし、要約対文字起こし、要約対要約）とニューラルSeq2Seqモデルを評価。
• 要約対文字起こしの内容セレクター（BM25）を用いたハイブリッドモデルを提案し、その後ニューラル生成（BART-large）を適用。
• 2つのエンティティ中心の指標：bag-of-characters（BoC）とbag-of-character-relations（BoR）を導入して、キャラクターの網羅と関係を測定。
• Predicateの一致とキャラクター関係の類似性に焦点を当てた人間評価を実施。

実験結果

リサーチクエスチョン

• RQ1 現状のニューラルモデルと最近傍モデルは、長文のテレビ文字起こしから忠実な抽象プロット要約をどれだけ生成できるか。
• RQ2 内容セレクターとハイブリッドアプローチは、純粋なニューラルまたは抽出ベースの方法と比べて抽象的な脚本要約を改善するか。
• RQ3 エンティティ中心の内容が脚本要約の評価と生成品質に与える影響は何か。
• RQ4 oracleな抽出ベースラインと非oracleモデルとのギャップは存在するか、そしてそれは内容選択について何を意味するか。
• RQ5 要約はコアプロットイベントと、キャラクター開発やユーモアのための非プロット対話をどのようにバランスさせているか。

主な発見

• オラクル抽出アプローチは自動評価指標全体で一貫して全モデルを上回り、ニューラルモデルにおける内容選択の改善余地を示唆している。
• 最近傍モデル（特にrecap-to-transcript）は強力な性能を示し、内容選択の情報的な上限を明らかにする。
• ニューラルモデルは一般的な意味的類似性では優れているが、非オラクルベースラインと比較してエンティティ中心の指標では劣る。
• オラクルの内容セレクターを含むハイブリッドモデルは、意味的およびエンティティ関連の指標の両方を改善し、内容選択が有望な研究方向であることを示唆する。
• 人間による評価では非oracleハイブリッドがプロットイベントを忠実に生成する点で競争力を持つ一方、オラクルと非オラクルの両方のモデルが不忠実な事実を生み出す可能性があることが示され、忠実性に焦点を当てた将来の研究を導く。
• SummScreenは自動評価指標でMediaSumより難しく、長編・多話者・物語的文字起こしの課題を強調している。