[論文レビュー] "Let Your Characters Tell Their Story": A Dataset for Character-Centric Narrative Understanding

Faeze Brahman, Meng Huang+4 more|arXiv (Cornell University)|Sep 12, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、NLPにおけるキャラクター中心の物語理解を進めるために、文学的要約とキャラクター中心の記述をペアにした新しいデータセットLiSCUを紹介する。また、2つの新しいタスク—キャラクター特定（Character Identification）とキャラクター記述生成（Character Description Generation）—を提案し、既存のモデルが流暢な記述を生成できるものの、元の要約からの忠実性に欠け、長文の文脈理解にも苦労することを示している。これにより、物語理解におけるモデルの改善の必要性が浮き彫りになった。

ABSTRACT

When reading a literary piece, readers often make inferences about various characters' roles, personalities, relationships, intents, actions, etc. While humans can readily draw upon their past experiences to build such a character-centric view of the narrative, understanding characters in narratives can be a challenging task for machines. To encourage research in this field of character-centric narrative understanding, we present LiSCU -- a new dataset of literary pieces and their summaries paired with descriptions of characters that appear in them. We also introduce two new tasks on LiSCU: Character Identification and Character Description Generation. Our experiments with several pre-trained language models adapted for these tasks demonstrate that there is a need for better models of narrative comprehension.

研究の動機と目的

• フィクションの登場人物の機械理解の課題に取り組むこと。これは、単なる抽出をはるかに超える抽象化を必要とする。
• 文学的要約とその登場人物の視点からの詳細なキャラクター記述をペアにした新しいデータセットLiSCUを開発すること。
• 2つの新しいNLPタスクを導入すること：匿名化された記述からのキャラクター特定（Character Identification）と、要約的・視点ベースの分析によるキャラクター記述生成（Character Description Generation）。
• これらのタスクにおいて、現代の事前学習済み言語モデルの性能を評価し、忠実性、抽象化、長文の文脈理解の面での限界を特定すること。
• データセットおよびモデル出力における性別バイアスを分析し、男性キャラクターがより頻出するものの、男性と女性のキャラクターの記述は同程度詳細であることが判明。これにより、分析処理における差異はないと示唆された。

提案手法

• LiSCUデータセットは、文学的要約と、登場人物の視点から書かれた対応するキャラクター記述を含み、役割、特徴、人間関係、動機を強調している。
• キャラクター記述生成は要約とは異なる要約的生成タスクとして定式化され、テキストに明示的に記載されていない属性や役割を推論する必要がある。
• キャラクター特定は分類タスクとして定式化され、要約が与えられたもとで、匿名化された記述から正しいキャラクター名を特定する必要がある。
• データセットには平均1022トークンの長文要約が含まれており、NLPシステムにおける長文の文脈モデリングに課題をもたらしている。
• 品質とモデル出力の評価のために、アマゾンMechanical Turkを用いた人間による評価が実施され、公平性を確保するため報酬付き・時間制の報酬が支払われた。
• 性別表現に関するバイアス分析を実施し、キャラクター頻度、要約内での言及回数、記述長を含め、潜在的な差異を評価した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、元の要約に忠実で、重要な属性や役割を捉えたキャラクター記述をどの程度生成できるか？
• RQ2 物語要約が与えられたもとで、匿名化された記述から正しいキャラクターを特定するモデルの性能はどの程度か？
• RQ3 平均1022トークンの長文の物語文脈を効果的に処理し、一貫性があり正確なキャラクター記述を生成できるか？
• RQ4 データセットやモデル出力に性別バイアスがあるか、特に男性と女性のキャラクターの取り扱いに差があるか？
• RQ5 抽象化、一貫性、事実の整合性の観点から、モデル生成記述と人間アノテーターによる記述はどのように比較されるか？

主な発見

• 既存の事前学習済み言語モデルは、流暢で論理的に整合性のあるキャラクター記述を生成できるが、元の要約からの忠実性に欠け、重要な詳細を省いたり歪めたりする傾向がある。
• キャラクター特定タスクにおける人間の平均パフォーマンスは、現在のモデルよりも顕著に高く、モデルのキャラクター推論能力にギャップがあることを示している。
• モデルは長文の物語文脈に対処するのに苦労しており、平均1022トークンという要約長は、大多数の既存NLPシステムの快適な処理範囲をはるかに超えている。
• 男性キャラクターがデータセットでより頻出（66％）であるものの、男性と女性キャラクターの平均記述長はほぼ同一（203対200トークン）であり、記述の深さにバイアスがないことを示唆している。
• 要約内での男性と女性キャラクターの言及回数は非常に近い（32.1対31.7）であり、女性キャラクターが少ないものの、物語展開における割合は同程度であることが示された。
• キャラクター頻度の不均衡にもかかわらず、男性と女性キャラクターの記述長や文数に顕著な差はなく、人間アノテーターによる記述が性別に基づく分析バイアスを示さないことがわかった。