[論文レビュー] The Project Dialogism Novel Corpus: A Dataset for Quotation Attribution in Literary Texts

Krishnapriya Vishnubhotla, Adam Hammond+1 more|arXiv (Cornell University)|Apr 12, 2022

Topic Modeling被引用数 6

ひとこと要約

Project Dialogism Novel Corpus (PDNC) は、22部の英語文学小説から抽出した35,978件の引用文を、発話者、受話者、引用の種別、指称表現、登場人物の言及について手作業でアノテートした大規模なデータセットである。これはこれまでで最大の同種のコーパスであり、引用文の帰属と共参照解析の包括的評価を可能にし、共参照解析が発話者特定において依然として主要な障壁であることが明らかになった。

ABSTRACT

We present the Project Dialogism Novel Corpus, or PDNC, an annotated dataset of quotations for English literary texts. PDNC contains annotations for 35,978 quotations across 22 full-length novels, and is by an order of magnitude the largest corpus of its kind. Each quotation is annotated for the speaker, addressees, type of quotation, referring expression, and character mentions within the quotation text. The annotated attributes allow for a comprehensive evaluation of models of quotation attribution and coreference for literary texts.

研究の動機と目的

• 文学的テキストにおける引用文帰属のための大規模かつ高品質なデータセットの不足に対処すること。
• 固有の表現（例：敬称、家族関係の呼称、間投的発話など）を含む文学的表現の特徴をカバーする包括的なガイドラインを提供することで、文学的引用文のアノテーション慣習を標準化すること。
• 最新のモデルとベースラインモデルを、新たな大規模ベンチマーク上で評価し、発話者帰属における継続的な課題を特定すること。
• 引用文帰属の失敗モードを分析し、とりわけ共参照解析が誤帰属に与える影響を特定すること。
• 将来的な研究を支援するため、登場人物レベルの分析、物語構造、著者間のスタイル的傾向の比較に関する基盤を提供すること。

提案手法

• 22部の長編小説にまたがる35,978件の引用文について、発話者、受話者、引用の種別、指称表現、登場人物の言及を手作業でアノテートすること。
• 敬称（例：Mr.、Mrs.）、家族関係の表現、後件代名詞などの文学的特徴を的確にラベル付けするための包括的なアノテーションガイドラインの開発。
• PDNCデータセット上で2つの最新の引用文帰属システムと、半教師ありベースラインを評価すること。
• 語尾語の三語連接、依存構造解析、段落最後の言及といったヒューリスティックなスイープ（例：三語連接、依存構造解析、段落最後の言及）を用いて帰属パターンとエラー要因を分析すること。
• BookNLPの共参照解析モデルを帰属パイプラインの一部として利用し、障害の原因を特定すること。
• 明示的・暗黙的・後件代名詞的引用文を含む、引用文の種別ごとのモデル性能を定量的に分析すること。

実験結果

リサーチクエスチョン

• RQ1 明示的・暗黙的・後件代名詞的引用文といった異なる種別の引用文において、引用文帰属モデルの性能はどのように変動するか？
• RQ2 共参照解析の誤りが、文学的テキストにおける発話者誤帰属にどの程度寄与しているか？
• RQ3 文法的および文脈的特徴に基づくヒューリスティックスイープ（例：三語連接、依存構造解析）は、帰属精度を向上させることができるか。また、どこで失敗するのか？
• RQ4 スタイリスティック分類ベースラインは、エンドツーエンドのニューラルモデルと比較して、このタスクでどのように性能を発揮するか？
• RQ5 発話者帰属の最も一般的な失敗パターンは何か。また、それらは登場人物の言及の曖昧さや代名詞の解釈にどのように関連しているか？

主な発見

• 2つの最新の引用文帰属モデルは、PDNCデータセット上で平均正解率0.62および0.63を達成しており、さらなる改善の余地が大きいことが示された。
• 共参照解析が主なエラー要因であることが特定され、とくに後件代名詞的引用文や暗黙的引用文では正解率が50％未満にとどまった。
• 明示的引用文ですら、三語連接や依存構造解析スイープでは完全に捉えきれておらず、名前付き実体が提示されていても、複雑な指称表現が依然として存在することが示された。
• 段落最後の言及スイープはほとんど影響を及ぼさず、文学的テキストでは稀にしか発動しないことが示された。
• シンプルな半教師ありベースラインが競争力のある性能を示し、リソースが限られた状況での強力な代替手段であることが示された。
• スタイリスティック分類モデルは、暗黙的および明示的引用文においてパイプラインベースのモデルを上回った。これは、直接的な発話者予測の方が、言及に基づくクラスタリングよりもより頑健である可能性を示唆している。