[論文レビュー] Few-Shot Character Understanding in Movies as an Assessment to Meta-Learning of Theory-of-Mind

Mo Yu, Wang, Qiujing+9 more|arXiv (Cornell University)|Nov 9, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文は、映画の台本を用いた自然主義的ナラティブ理解における、少数の例によるメタラーニング的理論的思考（ToM）を評価するための、初めてのベンチマークであるToM-in-AMCを紹介する。新規のToMプロンプティングフレームワークを提案し、信念、欲求、意図、感情の4つのToM次元を明示的にモデル化することで、最先端のパフォーマンスを達成したが、依然として人間のパフォーマンスから20%以上遅れをとっていることから、現在のLLMおよびメタラーニングモデルにおけるToM能力に深刻なギャップが存在することが明らかになった。

ABSTRACT

When reading a story, humans can quickly understand new fictional characters with a few observations, mainly by drawing analogies to fictional and real people they already know. This reflects the few-shot and meta-learning essence of humans' inference of characters' mental states, i.e., theory-of-mind (ToM), which is largely ignored in existing research. We fill this gap with a novel NLP dataset, ToM-in-AMC, the first assessment of machines' meta-learning of ToM in a realistic narrative understanding scenario. Our dataset consists of ~1,000 parsed movie scripts, each corresponding to a few-shot character understanding task that requires models to mimic humans' ability of fast digesting characters with a few starting scenes in a new movie. We propose a novel ToM prompting approach designed to explicitly assess the influence of multiple ToM dimensions. It surpasses existing baseline models, underscoring the significance of modeling multiple ToM dimensions for our task. Our extensive human study verifies that humans are capable of solving our problem by inferring characters' mental states based on their previously seen movies. In comparison, our systems based on either state-of-the-art large language models (GPT-4) or meta-learning algorithms lags >20% behind, highlighting a notable limitation in existing approaches' ToM capabilities.

研究の動機と目的

• ナラティブ理解における機械のメタラーニング的理論的思考（ToM）を評価するための、現実的で少数の例に依存するベンチマークの不足に対処すること。
• モデルが最小限の初期シーンからのみ、登場人物の心的状態（信念、欲求、意図、感情）を迅速に推論できるか、人間と同様の少数例一般化を実現できるかを評価すること。
• 静的で性格分類や会話生成にとどまらない、ToMの複数の次元を捉える包括的な評価フレームワークを構築すること。
• 現在の最先端モデル（例：GPT-4、メタラーニングアルゴリズム）が、現実的で動的なストーリー文脈における複雑な登場人物の心的状態を推論する能力に、どのような制限があるかを特定・定量化すること。
• 映画の台本を自然で豊富なナラティブ推論タスクの源として活用することで、NLPにおけるToM評価の新基準を確立すること。

提案手法

• 著者らは、約1,000件の解析済み映画台本からなるデータセットを構築し、各台本を最初の数シーンのみを文脈として用いた、少数の例によるキャラクター理解タスクに変換した。
• 各タスクでは、全発言者が匿名化されたシーンにおいて、会話の発言者を特定する必要があり、最小限の事前露出からの推論を模倣している。
• 信念、欲求、意図、感情の4つのToM次元を明示的に評価・根拠づけるために、新規のToMプロンプティング手法を導入した。
• 構造化プロンプティングを用いて、モデルがキャラクターの心的状態について推論するよう誘導し、類似キャラクターの事前知識に基づく類推的推論に重点を置いた。
• データセットはメタトレーニングおよびメタテストセットに分割され、モデルがわずかな初期シーンを経験した後、新しい映画に一般化できるようにするメタラーニング評価を可能にした。
• パフォーマンスは人間の研究と、GPT-4のコンテキスト内学習（ICL）およびProtoNetやLEOPARDなどのメタラーニングモデルを含む強力なベースラインとの比較によって評価された。

実験結果

リサーチクエスチョン

• RQ1 モデルは、類似キャラクターの事前知識を活用することで、人間が行うように、わずかな初期シーンからのみ、新しいナラティブキャラクターに一般化できるか？
• RQ2 現在の大型言語モデル（例：GPT-4）およびメタラーニングアルゴリズムは、ナラティブ文脈において、多様な次元の理論的思考（ToM）推論をどの程度捉えられるか？
• RQ3 異なるナラティブジャンルや発言者数は、少数例によるキャラクター理解タスクの難易度にどのような影響を及ぼすか？
• RQ4 最小限のナラティブ入力からの複雑なキャラクター心的状態の推論において、人間の推論と機械モデルとの間のパフォーマンスギャップはどの程度か？
• RQ5 信念、欲求、意図、感情を明示的にモデル化する構造化されたToMプロンプティングフレームワークは、少数例によるキャラクター理解のパフォーマンスを顕著に向上させることができるか？

主な発見

• 人間は、ToM-in-AMCベンチマークにおいて、テストされたすべてのモデルを20%以上上回り、現在のモデルにおける理論的思考（ToM）能力に顕著なギャップが存在することが示された。
• 提案されたToMプロンプティングアプローチは、既存のベースラインを上回り、ナラティブ推論における複数のToM次元を明示的にモデル化することが重要であることが実証された。
• コンテキスト内学習（ICL）を用いたGPT-4は、2発言者シーンで高いパフォーマンス（86.5%）を達成したが、特にドラマやホラーのような複雑なジャンルでは人間のパフォーマンスにまだ大きく劣っている。
• ジャンルによってパフォーマンスに顕著な差が見られ、アドベンチャー（98.4%）とロマンス（94.7%）で最高、ドラマ（91.8%）とコメディ（86.3%）で最低であり、ジャンル依存の推論課題が示唆された。
• 発言者数の増加に伴いパフォーマンスギャップが拡大する傾向が見られた：GPT-4 ToMProは1発言者シーンで90.0%を記録したが、4発言者シーンでは82.1%に低下し、5発言者シーンでも90.0%に回復した。これはスケーラビリティの問題を示している。
• 本研究では、モデルが文脈からグローバルなキャラクター特性（例：技術的熟練度）を推論できないことが確認された。例えば『マトリックス』の事例では、テイラーが熟練したオペレーターであるという点が見過ごされた。