[論文レビュー] Predicting Movie Genres Based on Plot Summaries

Quan Hoang|arXiv (Cornell University)|Jan 15, 2018

Video Analysis and Summarization参考文献 14被引用数 11

ひとこと要約

本論文では、プロット要約を用いたマルチラベル映画ジャンル分類のためのディープラーニング手法を提案する。Gated Recurrent Unit (GRU) ネットワークを用い、確率的分類と学習された確率閾値を組み合わせた手法である。250,000部を超える映画のデータセット上で、Jaccard Index 50.0%、F-score 0.56、80.5% のヒットレートを達成し、ナイーブベイズ、Word2Vec+XGBoost、および他のマルチラベル戦略よりも優れた性能を示した。

ABSTRACT

This project explores several Machine Learning methods to predict movie genres based on plot summaries. Naive Bayes, Word2Vec+XGBoost and Recurrent Neural Networks are used for text classification, while K-binary transformation, rank method and probabilistic classification with learned probability threshold are employed for the multi-label problem involved in the genre tagging task.Experiments with more than 250,000 movies show that employing the Gated Recurrent Units (GRU) neural networks for the probabilistic classification with learned probability threshold approach achieves the best result on the test set. The model attains a Jaccard Index of 50.0%, a F-score of 0.56, and a hit rate of 80.5%.

研究の動機と目的

• プロット要約からのマルチラベル映画ジャンル予測という課題に取り組むこと。これは、通常IMDBへの提出を通じて手作業で処理される。
• ナイーブベイズ、Word2Vec+XGBoost、RNNなど、複数の機械学習手法を評価・比較し、テキストベースのジャンル分類に適用する。
• 確率的分類と学習された確率閾値を組み合わせることで、マルチラベル分類問題における性能を向上させること。
• 特にGRUを用いた深層ニューラルネットワークが、映画プロット要約における順序的および文脈的なパターンをどのように捉えられるかを調査すること。
• 現在のアプローチにおける限界、例えばレアワードやクラスの不均衡の処理が不十分である点を特定し、解決策を提案すること。

提案手法

• 本研究では、ジャンル予測のためのプロット要約内の順序的依存関係をモデル化するために、Gated Recurrent Unit (GRU) ニューラルネットワークを用いる。
• 確率的分類フレームワークを用い、モデルが出力する各ジャンルの確率に基づき、最終的な予測ラベルは学習された閾値によって決定される。
• 確率閾値は、真のラベルと偽のラベルの誤順序を最小化するように、最小二乗回帰法を用いて最適化される。
• プロット要約内の単語の表現には、事前学習済みのWord2Vecから得られる単語埋め込みを用い、それらをGRUモデルに入力する。
• マルチラベル問題への対処は、3つの戦略を用いて行う：k-バイナリ変換、ランクベースラベリング、確率的分類と閾値学習の組み合わせ。
• モデルは、アノテートされたジャンルとプロット要約を備えた250,000部を超える映画の大きなデータセット上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 GRUのような深層再帰ニューラルネットワークは、ナイーブベイズやXGBoostといった従来の機械学習モデルよりも、プロット要約からのマルチラベル映画ジャンル予測において優れた性能を示せるか？
• RQ2 確率的分類と学習された確率閾値を組み合わせることで、k-バイナリ変換やランクベース手法よりも優れた性能が得られるか？
• RQ3 単語埋め込み表現（例：Word2Vec）およびその平均化処理が、ジャンル分類モデルの性能にどのように影響するか？
• RQ4 レアワードや未知語トークン（UNK）がモデルの性能に及ぼす影響の程度はどの程度か。また、文脈適応により結果が改善できるか？
• RQ5 映画ジャンルにおけるクラスの不均衡（例：ドラマやコメディが優勢）が、モデルのバイアスおよび予測性能に与える影響はどの程度か？

主な発見

• 確率的分類と学習された確率閾値を組み合わせたGRUベースのモデルが、最高の性能を示し、Jaccard Index 50.0% を達成した。
• F-scoreは0.56、ヒットレートは80.5%を記録し、映画1本あたり少なくとも1つの正しいジャンルを正しく予測できる強力な性能を示した。
• Word2Vec + XGBoostは、単語埋め込みの平均化が文書レベルの意味的表現を適切に捉えられていないため、性能が著しく低かった。
• k-バイナリ変換およびランクベース手法は、曖昧なまたは重複するジャンルラベルを処理する際、確率的閾値アプローチに比べて性能が劣った。
• モデルは、語彙の46%が20回未満で出現するレアワードや、75%のトークンがUNKとして処理される問題により、表現学習が制限された。
• クラスの不均衡により、モデルはドラマやコメディといった人気ジャンルにバイアスがかかり、長尾ジャンルの予測を改善する必要があることが示唆された。