[論文レビュー] Rating for Parents: Predicting Children Suitability Rating for Movies Based on Language of the Movies

Mahsa Shafaei, Niloofar Safi Samghabadi+2 more|arXiv (Cornell University)|Aug 21, 2019

Hate Speech and Cyberbullying Detection参考文献 20被引用数 8

ひとこと要約

本論文では、映画台本のジャンル、対話、感情的コンテンツを統合的に分析するアテンション機構を備えたRNNベースの深層学習モデルを提案し、子供向け適性のためのMPAA評価を予測する。モデルは重み付きF1スコア78％を達成し、従来の機械学習手法よりも6％優れている。また、MPAA評価でラベル付けされた7,000本の映画台本を含む、初めての大規模データセットを提供する。

ABSTRACT

The film culture has grown tremendously in recent years. The large number of streaming services put films as one of the most convenient forms of entertainment in today's world. Films can help us learn and inspire societal change. But they can also negatively affect viewers. In this paper, our goal is to predict the suitability of the movie content for children and young adults based on scripts. The criterion that we use to measure suitability is the MPAA rating that is specifically designed for this purpose. We propose an RNN based architecture with attention that jointly models the genre and the emotions in the script to predict the MPAA rating. We achieve 78% weighted F1-score for the classification model that outperforms the traditional machine learning method by 6%.

研究の動機と目的

• 映画台本に基づくMPAA評価を自動で予測するシステムの開発を目的とし、保護者向けの支援および早期の制作意思決定を支援すること。
• 手作業による評価プロセスの限界を是正すること。このプロセスは遅く、スケーラブルではなく、制作後に行われる。
• 自動予測モデルのベンチマーク化を可能にするために、MPAA評価が付与された映画台本データセットの構築。
• ジャンル、感情的コンテンツ、対話の影響がMPAA評価予測に与える統合的影響を調査すること。
• 静的な悪口語リストに依存するのを減らし、深層学習によるエンドツーエンドの言語的文脈のモデル化を実現すること。

提案手法

• 映画台本内のキャラクター間の対話フローをモデル化するため、アテンション機構を備えたシーケンスベースのRNNアーキテクチャを用いる。
• ジャンル埋め込みと、対話内の感情検出から得られる感情埋め込みを、RNNの補助入力として統合する。
• 事前に定義された悪口語の語彙リストに依存せず、生テキストからのエンドツーエンド学習を実施する。
• モデルを5つのMPAA評価カテゴリ（G、PG、PG-13、R、NC-17）に分類するように訓練する。
• 予測の解釈と誤分類例における重要な語の分析のために、アテンション重みを用いる。
• 閾値ベースの悪口語リストを用いた従来の機械学習ベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習モデルは、映画台本のみを用いてMPAA評価を正確に予測できるか？
• RQ2 対話内のジャンルと感情的コンテンツは、子供向け適性評価予測の能力にどのように影響を与えるか？
• RQ3 文脈的・意味的制限のため、従来の悪口語リストはどの程度MPAA評価を正しく予測できないか？
• RQ4 モデルのアテンション機構は、MPAA評価基準と整合する意味のある言語的パターンを効果的に抽出できるか？
• RQ5 提案されたモデルは、従来の機械学習ベースラインを上回ってMPAA評価を予測できるか？

主な発見

• アテンション機構を備えた提案されたRNNベースのモデルは、重み付きF1スコア78％を達成し、従来の機械学習手法よりも6％優れている。
• モデルのアテンション機構は、NC-17評価の台本において「fuck」や「motherfucker」のような文脈的に関連する語を効果的に強調しており、言語的文脈への感受性を示している。
• 否定的語彙の頻度は、より厳しいMPAA評価に伴い顕著に増加し、NC-17台本では悪口語が1.68％を占める一方、G評価の映画では0.17％にとどまる。
• 誤分類例では、しばしば中立的な語が高めのアテンション重みを持つことがあり、低リソースクラスにおけるデータのスパarsityや曖昧さが原因である可能性がある。
• 悪口語頻度だけでは、文脈の変動やジャンルごとの意味的影響の違いを考慮できないため、正確な予測には不十分であることが実証された。
• 実証的結果から、ジャンルと感情的コンテンツが顕著な予測要因であることが確認され、感情の強度とテーマ的コンテンツが評価分類に有意義に寄与している。