[論文レビュー] Frowning Frodo, Wincing Leia, and a Seriously Great Friendship: Learning to Classify Emotional Relationships of Fictional Characters

Evgeny Kim, Roman Klinger|arXiv (Cornell University)|Mar 29, 2019

Sentiment Analysis and Opinion Mining参考文献 30被引用数 13

ひとこと要約

本稿では、小説テキスト内のフィクションキャラクター間の感情的関係を分類するという新規なタスクを提示し、ファンフィクションコーパス上で位置符号化を施したGRUモデルを用いたニューラル関係分類フレームワークを提案する。最良のモデルは、非方向性の感情関係分類でF1スコア0.45を達成し、微細な感情モデリングが、感情の極性を二値分類するのよりも、複雑なキャラクター間相互作用を捉える上で優れていることを示している。

ABSTRACT

The development of a fictional plot is centered around characters who closely interact with each other forming dynamic social networks. In literature analysis, such networks have mostly been analyzed without particular relation types or focusing on roles which the characters take with respect to each other. We argue that an important aspect for the analysis of stories and their development is the emotion between characters. In this paper, we combine these aspects into a unified framework to classify emotional relationships of fictional characters. We formalize it as a new task and describe the annotation of a corpus, based on fan-fiction short stories. The extraction pipeline which we propose consists of character identification (which we treat as given by an oracle here) and the relation classification. For the latter, we provide results using several approaches previously proposed for relation identification with neural methods. The best result of 0.45 F1 is achieved with a GRU with character position indicators on the task of predicting undirected emotion relations in the associated social network graph.

研究の動機と目的

• 計算的文学研究における新規なタスクを提示する：小説テキストからの感情的キャラクター・ネットワーク抽出。
• 社会的ネットワーク解析と感情分析を統合することで、キャラクター間の感情的ダイナミクスを分析する空白を埋める。
• 物語テキストにおけるキャラクター間の感情的関係を分類するためのニューラルモデルの開発と評価。
• キャラクターの言及と感情的関係を含む、19編のファンフィクション短編小説から構成される手動アノテート済みコーパスを公開する。
• キャラクター相互作用において、微細な感情分類が二値極性分類を上回るかどうかを調査する。

提案手法

• このタスクは、ニューラルシーケンスモデルを用いて、キャラクター対間の非方向的または方向的関係を分類する形式として定式化される。
• 関係的文脈を符号化し、性能を向上させるために、キャラクターの位置を示す指標（MRole, MEntity）を備えたGRUベースのモデルが用いられる。
• モデルは、プラチキの8つの基本的感情（怒り、恐怖、喜び、期待、信頼、驚き、嫌悪、悲しみ）に基づく離散的感傷分類を採用する。
• コーパスはWebAnnoを用いてアノテートされ、各感情的関係は三元組 (C_exp, e, C_cause) として表現される。ここで、C_expは感情eを経験する人物、C_causeはその感情の原因となる人物である。
• 評価は3段階で実施される：インスタンスレベル、ストーリー単位、グラフレベル。F1スコアの算出にはマイクロ平均およびマクロ平均戦略が適用される。
• ベースラインモデルにはBOW-RFおよび位置指標なしのGRUが含まれ、2、5、8クラスの感情設定において性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 位置符号化を施したニューラルモデルは、ベースラインモデルと比較して、フィクションキャラクター間の感情的関係分類性能を向上させることができるか？
• RQ2 キャラクター相互作用において、微細な多クラス感情分類は、二値極性分類よりも優れた性能を示すか？
• RQ3 異なる評価レベル（インスタンス、ストーリー、グラフ）は、感情的関係分類の測定性能にどのように影響するか？
• RQ4 キャラクターの位置指標と文脈埋め込みは、物語テキストにおける感情的関係モデリングにどの程度寄与するか？
• RQ5 GRUを用いることで得られる性能向上は、異なる感情クラス設定において一貫しているか？

主な発見

• マルチロール位置符号化を施したGRUモデル（GRU+MRole）は、非方向的8クラス感情関係分類タスクで最高のF1スコア0.45を達成した。
• グラフレベルでは、GRU+MRoleモデルは2クラス設定で73%のF1スコアを記録し、マッチング制約が緩いため、グラフレベル評価が性能向上に寄与していることが示された。
• 二値分類と多クラス分類の間には顕著な性能差が認められ、多クラスモデルが二値モデルを上回った。これは、感情的相互作用が単純な極性では捉えきれないほど微細であり、感情の複雑さを反映していると考えられる。
• 位置符号化（MRole, MEntity）は、位置指標なしのモデルと比較して一貫して性能を向上させ、特に方向的関係分類において顕著な改善が見られた。
• BOW-RFベースラインはRNNベースのモデルと比較して著しく性能が低く、順序的な文脈を捉えることが関係的文脈を理解する上で不可欠であることを示している。
• 結果から、二値分類ではモデル間の差が小さい一方、多クラス設定では顕著な差が認められ、微細な感情モデリングの重要性が強化された。