[論文レビュー] A Multimodal CNN-based Tool to Censure Inappropriate Video Scenes

Pedro V. A. de Freitas, Paulo Renato da Costa Mendes+5 more|arXiv (Cornell University)|Nov 10, 2019

Digital Media Forensic Detection参考文献 8被引用数 5

ひとこと要約

本論文では、視覚的および音声的特徴を併用して、不適切な動画シーンを検出し、自動でブロッキングするマルチモーダルCNNベースのシステムを提示する。事前学習済みCNNを用いたトランスファーラーニングにより、適切なコンテンツに対して98.95%、不適切なコンテンツに対して98.94%のF1スコアを達成し、有害なセグメントの正確な局所化とブロッキングを可能にするとともに、正当なコンテンツの保持を実現する。

ABSTRACT

Due to the extensive use of video-sharing platforms and services for their storage, the amount of such media on the internet has become massive. This volume of data makes it difficult to control the kind of content that may be present in such video files. One of the main concerns regarding the video content is if it has an inappropriate subject matter, such as nudity, violence, or other potentially disturbing content. More than telling if a video is either appropriate or inappropriate, it is also important to identify which parts of it contain such content, for preserving parts that would be discarded in a simple broad analysis. In this work, we present a multimodal~(using audio and image features) architecture based on Convolutional Neural Networks (CNNs) for detecting inappropriate scenes in video files. In the task of classifying video files, our model achieved 98.95\% and 98.94\% of F1-score for the appropriate and inappropriate classes, respectively. We also present a censoring tool that automatically censors inappropriate segments of a video file.

研究の動機と目的

• 全動画を破棄せずに、特定の不適切なシーンを同定し、ブロッキングする課題に対処すること。
• ディープラーニングを用いて視覚的および音声的モダリティを統合することで、従来の動画分類手法を改善すること。
• 有害なセグメントのみを自動でブロッキングし、適切なコンテンツを保持する実用的なツールを開発すること。
• 動画全体の分類ではなく、シーンレベルの検出に焦点を当てることで、コンテンツモデレーションにおける誤検出を低減すること。
• 戦争ドキュメンタリーなど、攻撃的ではないが感受性の高い内容を含む教育的・情報的動画に、不適切なセグメントのみをブロッキングすることでアクセス可能にする。

提案手法

• システムは動画を5秒ごとのセグメントに分割し、細分化された分析を実施する。
• 2つの事前学習済みCNN（バックボーン）を用いる：1つは動画フレームからの視覚的特徴抽出、もう1つはオーディオトラックからの音声的特徴抽出。
• ImageNetおよびAudioSetからの特徴を活用して、データセット上でバックボーンを微調整するためのトランスファーラーニングを適用する。
• 両モダリティからの特徴を1つの特徴ベクトルに連結し、各動画セグメントに対して統合する。
• 浅い全結合分類器が、マルチモーダル特徴を統合し、セグメントが適切か不適切かを予測する。
• ブロッキング処理として、予測された不適切なセグメントのフレームにガウスノイズを適用し、オーディオはミュートする。

実験結果

リサーチクエスチョン

• RQ1 視覚的および音声的特徴を統合することで、マルチモーダルCNNモデルが不適切な動画シーンを効果的に検出できるか？
• RQ2 不適切な動画コンテンツを分類する際、マルチモーダルアプローチは、画像のみの単モーダル手法（例：画像のみ）と比較してどの程度優れているか？
• RQ3 モデルはどの程度、セグメントレベルでの不適切なコンテンツの局所化を可能にし、選択的ブロッキングを実現できるか？
• RQ4 提案されたツールは、有害なセグメントを効果的にブロッキングする一方で、適切な動画コンテンツの整合性を保持できるか？
• RQ5 本モデルは、ユーザーがアップロードした動画や感受性の高い内容を含む教育的動画の文脈において、実世界で実用可能か？

主な発見

• テストセットにおいて、適切な動画セグメントで98.95%、不適切な動画セグメントで98.94%のF1スコアを達成し、高い正確性と再現性を示した。
• 20分割交差検証において標準偏差が低く、汎用性が高く、一貫した性能を示した。
• 不適切なコンテンツのF1スコアは適切なコンテンツよりわずかに低かったが、依然として98.9%を超えており、有害な素材の強力な検出能力を示した。
• ガウスノイズをフレームに適用し、オーディオをミュートすることで、予測された不適切なセグメントのみを効果的にブロッキングし、他の動画部分は保持した。
• パイプラインとして、1時間の動画をセグメント化し、分類およびブロッキングを自動で処理できることが実用的シナリオで確認された。
• 視覚的および音声的手がかりを併用することで、複雑なシーンにおける誤分類リスクを低減し、単モーダルアプローチを上回る性能を示した。