[論文レビュー] Deep Architectures for Content Moderation and Movie Content Rating

Fatih Çağatay Akyön, Alptekin Temizel|arXiv (Cornell University)|Dec 8, 2022

Video Analysis and Summarization被引用数 4

ひとこと要約

この論文は、ビデオ、音声、テキスト特徴をCNN、RNN、トランスフォーマーを用いて統合するマルチモーダルアーキテクチャを焦点に、自動映画コンテンツレーティングおよびコンテンツモデレーションのためのディーブラーニング手法をサーベイする。既存手法における注目メカニズムや最新のビジョン／音声トランスフォーマーの欠如といった制限を強調し、スケーラブルで正確なマルチモーダル自動映画検閲システムの今後の研究を導く包括的レビューである。

ABSTRACT

Rating a video based on its content is an important step for classifying video age categories. Movie content rating and TV show rating are the two most common rating systems established by professional committees. However, manually reviewing and evaluating scene/film content by a committee is a tedious work and it becomes increasingly difficult with the ever-growing amount of online video content. As such, a desirable solution is to use computer vision based video content analysis techniques to automate the evaluation process. In this paper, related works are summarized for action recognition, multi-modal learning, movie genre classification, and sensitive content detection in the context of content moderation and movie content rating. The project page is available at https://github.com/fcakyon/content-moderation-deep-learning.

研究の動機と目的

• 自動映画レーティングおよびコンテンツモデレーションのためのディーブラーニング技術を包括的にレビューすること。
• 特に注目メカニズムや最新のビジョン／音声トランスフォーマーの未活用という点で、現在の手法におけるギャップを特定すること。
• 既存のデータセットおよびモデルの知見を統合し、スケーラブルでマルチモーダルな動画コンテンツ分析分野における今後の研究を導くこと。
• センシティブコンテンツ検出において、単一モーダルおよび注目メカニズム非搭載モデルの限界を強調すること。
• 実世界のコンテンツフィルタリングおよび年齢分類への導入を想定した、エンドツーエンドで多ラベル・マルチモーダルなシステムの開発を支援すること。

提案手法

• コンテンツモデレーションおよび映画レーティングのための画像、動画、テキストモーダルティの15以上ものデータセットを体系的にレビュー。
• アクション認識およびセンシティブコンテンツ検出に用いられるCNN、RNN（LSTM、GRU）、SVM、ハイブリッドモデルを用いた12件の主要論文を分析。
• 動画（CNN + LSTM）、音声（MFCC、Wav2Vec）、テキスト（BERT、GloVe、TextCNN）埋め込みを統合するマルチモーダル統合戦略を評価。
• 動画および画像分類における特徴抽出にVGG16、ResNet、Inception、MobileNet、ViTなどの事前学習モデルの使用を検討。
• 大多数の既存のコンテンツレーティングシステムで自己注意メカニズムや最新のトランスフォーマー型エンコーダー（例：ViT、Data2Vec、Wav2Vec）が欠落していることを強調。
• データセットのパフォーマンスおよび利用可能性を比較し、Movie script severity dataset や MM-Trailer のような一部のデータセットを除き、公開利用可能なデータセットはごくわずかであることを指摘。

実験結果

リサーチクエスチョン

• RQ1 自動映画レーティングおよびコンテンツモデレーションで用いられる支配的であるディーブラーニングアーキテクチャは何か？
• RQ2 動画、音声、テキストのマルチモーダル統合戦略は、センシティブコンテンツ検出におけるパフォーマンスをどのように向上させるか？
• RQ3 ビジョントランスフォーマーや Wav2Vec といった最新の注目ベースのモデルが、現在のコンテンツレーティングシステムでなぜ未活用されているのか？
• RQ4 モーダルティカバレッジ、ラベルの粒度、公開利用可能性という観点から、既存のデータセットの主な制限は何か？
• RQ5 エンドツーエンドで多ラベル・マルチモーダルなモデルは、自動映画検閲におけるスケーラビリティと正確性を向上させるためにどのように設計できるか？

主な発見

• 多くの既存のコンテンツモデレーションおよび映画レーティングシステムは、ハンドクラフト特徴（例：HOG、DCT）や浅いモデル（例：SVM）に依存しており、パフォーマンスに制限がある。
• CNNおよびRNN（LSTM、GRU）は広く用いられているが、注目メカニズムや最新のビジョン／音声トランスフォーマーを組み込んでいる研究はごくわずかである。
• 暴力シーンデータセット [12] および VSD2014 [13] は、暴力検出のための最も引用が多い動画データセットの一つであるが、多ラベルまたはマルチモーダルラベルが付与されていない。
• 公開利用可能なデータセットのわずかな割合（例：Movie script severity dataset [72]）が、再現性およびベンチマークの実施を制限している。
• BERT、DeepMoji、MFCC特徴を用いたマルチモーダルモデルは有望であるが、大多数はプライベートまたはアクセス制限付きデータで学習されている。
• 暴力、露出、乱暴な言葉といったセンシティブコンテンツのための標準的で公開利用可能な多ラベル・マルチモーダルデータセットの欠如が、進展を阻害する主要な障壁のままである。