[論文レビュー] Folksonomication: Predicting Tags for Movies from Plot Synopses Using Emotion Flow Encoded Neural Network

Sudipta Kar, Suraj Maharjan+1 more|arXiv (Cornell University)|Aug 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 6

ひとこと要約

本論文では、物語の感情の流れを双向LSTMで符号化することで、あらすじから映画のタグを予測する新しいニューラルネットワークモデルを提案する。このモデルは、従来の機械学習システムと比較して、タグのリcallを約18%向上させ、物語理解における感情ダイナミクスの価値がフォルクソノミー生成に寄与することを示している。

ABSTRACT

Folksonomy of movies covers a wide range of heterogeneous information about movies, like the genre, plot structure, visual experiences, soundtracks, metadata, and emotional experiences from watching a movie. Being able to automatically generate or predict tags for movies can help recommendation engines improve retrieval of similar movies, and help viewers know what to expect from a movie in advance. In this work, we explore the problem of creating tags for movies from plot synopses. We propose a novel neural network model that merges information from synopses and emotion flows throughout the plots to predict a set of tags for movies. We compare our system with multiple baselines and found that the addition of emotion flows boosts the performance of the network by learning ~18\% more tags than a traditional machine learning system.

研究の動機と目的

• 低プロファイルな映画におけるユーザー生成タグの不足を解消するため、あらすじからタグを自動で予測すること。
• 感情的および物語的属性を反映した正確で多次元的なタグを生成することで、映画の推薦およびコンテンツ発見を向上させること。
• 物語全体にわたる感情の流れをモデル化することで、静的テキスト特徴量のみに依存する場合と比較して、タグ予測が向上するかどうかを検証すること。
• 多様な映画ジャンルやタグタイプに一般化可能な堅牢なニューラルネットワークシステムを開発すること。

提案手法

• モデルは、あらすじから局所的な語レベル特徴を抽出するために畳み込みニューラルネットワーク（CNN）を用いる。
• 双方向LSTM（BiLSTM）ネットワークが物語的シーケンス全体にわたる感情の流れを符号化する。
• 感情の流れは、あらすじの各文またはセグメントで計算された感情強度スコアから導出される。
• CNNとBiLSTMの表現を連結し、全結合層を通過させて多ラベルのタグ集合を予測する。
• マルチラベル分類のためのシグモイド活性化関数を用いたクロスエントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• 本モデルは、14,000本の映画から成るデータセット（正解タグ付き）を用いて評価され、多数派予測やランダム予測、および手作業で作成された言語的特徴量を用いたシステムといった複数のベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 物語のあらすじにおける感情の流れをモデル化することで、静的テキスト特徴量のみに依存する場合と比較して、自動タグ予測システムの性能が向上するか？
• RQ2 感情ダイナミクスを組み込むことで、感情的・主題的タグのリcallとF1スコアにどのような影響を与えるか？
• RQ3 あらすじからの予測と、完全な映画台本からの予測との間に、どの程度の一致があるか。また、その差異を引き起こす要因は何か？
• RQ4 レアまたは主観的なタグ（例：'アレゴリー'、'ブレインウォーキング'）はモデルの性能にどのような影響を与え、どのような課題を生じさせるか？

主な発見

• 提案されたモデルは、手作業で作成された言語的特徴量に依存する従来の機械学習システムと比較して、タグのリcallを約18%向上させた。
• トップ5のタグを予測する際、モデルはマイクロF1スコア38.7%を達成し、タグリcall（TR）は15.70にのぼり、ベースラインを著しく上回った。
• 感情の流れを追加することで、モデルは「考えさせられる」、「スリル」、「メロドラマ」などの感情体験に関連するタグをより多く学習できるようになった。
• あらすじからの予測と完全な映画台本からの予測を比較したところ、40%の映画でトップ5の予測タグの少なくとも80%が一致しており、高い一貫性が示された。
• モデルは、まれなまたは主観的なタグ（例：'ブレックスポルゴ'、'魔法的リアリズム'）に対しては効果が低く、これらは映画全体の0.06%未満にしか割り当てられていないため、低頻度で視点依存のタグを学習する課題があるとされた。
• マイクロF1スコアは類似していたが、完全な映画台本を用いた場合のタグリcallは、あらすじを用いた場合よりも低かった。これは、トレーニング／テストの分布の不一致や、非言語的要素によるノイズが原因であるとされる。