[論文レビュー] Heroes, Villains, and Victims, and GPT-3: Automated Extraction of Character Roles Without Training Data

Dominik Stammbach, Maria Antoniak+1 more|arXiv (Cornell University)|May 16, 2022

Topic Modeling被引用数 2

ひとこと要約

この論文では、ラベルなし学習データを一切使用せずに、GPT-3を用いたゼロショットでプロンプトベースの手法を提案し、物語文書からヒーロー、ヴィラン、バイオレントの役割を抽出する。キャラクターの役割特定を「誰が英雄ですか？」「誰が悪役ですか？」といった的を絞った質問として機械読解タスクに定式化することで、水圧破砲関連ニュースコーパスにおいて、辞書ベースのベースラインの2倍以上の精度を達成し、政治的議論やメディアにおけるスケーラブルな物語分析を可能にする。

ABSTRACT

This paper shows how to use large-scale pre-trained language models to extract character roles from narrative texts without training data. Queried with a zero-shot question-answering prompt, GPT-3 can identify the hero, villain, and victim in diverse domains: newspaper articles, movie plot summaries, and political speeches.

研究の動機と目的

• ドメイン特化されたラベル付き学習データを一切必要としない、物語文書における自動的キャラクター役割抽出（ヒーロー、ヴィラン、バイオレント）の手法を開発すること。
• 大規模事前学習言語モデル、特にGPT-3が、ニュース記事、映画要約、政治演説など多様なドメインにおいて物語的原型を同定する能力を評価すること。
• 計算的社会科学およびデジタル・ヒューマニティーズ研究における物語フレーミング分析のためのゼロショットプロンプティングの実現可能性を検討すること。
• 複数のコーパスにわたる定性的および定量的評価を通じて、GPT-3の出力の頑健性と解釈可能性を評価すること。
• GPT-3のアノテーションを用いて、米国大統領の「国家の状態に関する演説」に登場するキャラクター役割をマッピングし、政党ごとの差異を調査すること。

提案手法

• キャラクター役割特定を機械読解タスク（MRCP）として定式化し、入力は物語文書、質問は「この文中で誰が英雄ですか？」のようなゼロショットプロンプトとする。
• 微調整やラベル付き例なしに、GPT-3を用いてプロンプトに基づき入力文書から直接答えを生成する。
• 複数のエンティティが同一の役割に割り当てられる場合の曖昧性を軽減し、解釈可能性を向上させるために、GPT-3の出力にクラスタリング手法を適用する。
• 比較のための辞書ベースのベースラインを用い、事前に定義されたキーワードと意味的パターンに依存して役割を同定する。
• 手動アノテーション済みの水圧破砲関連ニュース記事コーパスを用いて、標準的な分類指標で性能を評価する。
• 米国大統領の「国家の状態に関する演説」の大規模コーパス（2001–2018年）にこの手法を適用し、役割割り当てを大統領の政党所属と関連付けて比較分析する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3は、ラベル付き学習データを一切使用せずに、物語文書におけるヒーロー、ヴィラン、バイオレントの役割を正確に同定できるか？
• RQ2 GPT-3を用いたゼロショットプロンプティング手法は、従来の辞書ベースのベースラインと比較して、キャラクター役割抽出の性能で優れているか？
• RQ3 政治的議論における物語フレーミングの文脈で、GPT-3の出力は意味的に整合的にクラスタリングされ、解釈可能か？
• RQ4 米国大統領の「国家の状態に関する演説」において、ヒーロー、ヴィラン、バイオレントのフレーミングに政党間の差異が検出可能か？
• RQ5 特にバイアスとコストの観点から、GPT-3のような大規模言語モデルを用いた物語的役割抽出の限界は何か？

主な発見

• 水圧破砲関連ニュース記事の手動アノテーションコーパスにおいて、GPT-3のゼロショットプロンプティング手法は、辞書ベースのベースラインのF1スコアを2倍以上上回った。
• ディズニー映画のあらましの定性的分析において、GPT-3の役割割り当ては主観的な物語的期待とよく一致しており、解釈可能性と整合性が確認された。
• 米国大統領の「国家の状態に関する演説」（2001–2018年）に適用した結果、大統領の政党所属に応じた物語フレーミングの体系的差異が明らかになり、政党ごとの役割割り当ての差異が示唆された。
• GPT-3の出力にクラスタリングを適用することで、役割割り当ての読みやすさと一貫性が向上し、特に代理の参照が限定的または曖昧な文書で顕著だった。
• スピーチに登場する名前付きエージェントが1つしかない場合でも、GPT-3は同じエンティティを複数の役割（例：ヒーローとヴィラン）に割り当てることが頻繁にあったため、排他的な役割割り当てを扱うためにプロンプトの改変が必要であることが示された。
• 強力な性能を発揮したが、GPT-3が社会的バイアスを組み込み・拡散する可能性があり、大規模コーパスへのスケーリングに伴い推論コストが高くなるという制限がある。