[論文レビュー] A Local-to-Global Approach to Multi-modal Movie Scene Segmentation

Anyi Rao, Linning Xu+5 more|arXiv (Cornell University)|Apr 6, 2020

Human Pose and Action Recognition参考文献 30被引用数 7

ひとこと要約

本論文は、映画のシーン分割のためのローカルからグローバルへのフレームワークを提案する。視覚的、音声的、キャスト、場所の特徴をクリップ、セグメント、映画の各レベルで統合することで、シーン境界検出を向上させる。階層的意味論とグローバル最適化を活用することで、新規の MovieScenes データセット上で 47.1% の平均適合率を達成し、先行研究比で 68% の相対的向上を示した。また、このデータセットで事前学習を行うことで、下流タスクの性能が顕著に向上した。

ABSTRACT

Scene, as the crucial unit of storytelling in movies, contains complex activities of actors and their interactions in a physical environment. Identifying the composition of scenes serves as a critical step towards semantic understanding of movies. This is very challenging -- compared to the videos studied in conventional vision problems, e.g. action recognition, as scenes in movies usually contain much richer temporal structures and more complex semantic information. Towards this goal, we scale up the scene segmentation task by building a large-scale video dataset MovieScenes, which contains 21K annotated scene segments from 150 movies. We further propose a local-to-global scene segmentation framework, which integrates multi-modal information across three levels, i.e. clip, segment, and movie. This framework is able to distill complex semantics from hierarchical temporal structures over a long movie, providing top-down guidance for scene segmentation. Our experiments show that the proposed network is able to segment a movie into scenes with high accuracy, consistently outperforming previous methods. We also found that pretraining on our MovieScenes can bring significant improvements to the existing approaches.

研究の動機と目的

• 映画のシーン分割の課題に取り組む。これは、複雑な時間的・物語的構造を有するため、視覚的ヒントを超えた意味的理解が不可欠である。
• クリップ、セグメント、映画の階層的レベルで、視覚的、音声的、キャスト、場所のマルチモーダル信号を統合できるスケーラブルなフレームワークを開発する。
• ローカルな予測とグローバル最適化を組み合わせることで、視覚的変化に起因する誤った遷移を是正し、シーン境界検出を向上させる。
• 21,000 個のアノテート済みシーンを含む 150 部の映画から構築された MovieScenes という大規模なベンチマークを確立する。
• MovieScenes で事前学習することで、既存のシーン分割ベンチマークでの性能が顕著に向上することを示す。

提案手法

• フレームワークは、動画、音声、キャスト、シーンの場所からの特徴を用いて、クリップレベルでマルチモーダル表現を抽出する。
• ローカルなシーン境界予測は、クリップ、セグメント、映画の3レベルにわたるマルチモーダル埋め込みを、学習されたアテンションメカニズムで統合することで行う。
• グローバル最適化ステップでは、意味的整合性を保ちつつシーン境界の誤りを最小化するグループ化問題を解くことで、予測を精緻化する。
• 最適化には、不一致の遷移をペナルティ化し、意味的に整合性のあるグループ化を奨励する学習済みコスト関数を用いた動的計画法が使用される。
• 反復的精緻化を採用し、スーパーショットを初期グループとして用いる。精度と収束速度のバランスを取るために、初期スーパーショット数と反復回数を調整する。
• フレームワークは、シーン境界における交差エントロピー損失を用いてエンドツーエンドで訓練され、MovieScenes での事前学習によりゼロショットおよび転移学習性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 視覚的、音声的、キャスト、場所のマルチモーダル信号を、視覚的ヒントを超えて効果的に統合する方法は何か？
• RQ2 上位からのグローバルな映画レベルの文脈は、ローカルなシーン境界予測にどの程度向上効果をもたらすか？
• RQ3 人間がアノテートした大規模な映画シーンデータセットは、シーン分割モデルの一般化性能を顕著に向上させるか？
• RQ4 クリップ、セグメント、映画の階層的時間的・意味的構造を統合することで、ローカルのみのアプローチに比べて性能がどの程度向上するか？
• RQ5 提案された MovieScenes データセットでの事前学習が、既存のベンチマークにおける転移学習に与える影響は何か？

主な発見

• 提案されたローカルからグローバルへのフレームワークは、MovieScenes データセットで 47.1% の平均適合率を達成し、前回の最良手法（28.1% AP）比で 68% の相対的向上を示した。
• MovieScenes での事前学習により、既存のベンチマークでも性能が向上：OVSD で 85.7% AP、BBC で 90.2% AP を達成し、優れた一般化能力を示した。
• グローバル最適化により、ショットタイプの変化など、急激な視覚的変化に起因する誤検出（偽陽性）が低減され、スムーズなシーンカットの補正がなされた。
• マルチモーダル特徴は相補的である：視覚的明瞭度が低いシーン（例：遠距離や部分的視認）では、音声やキャスト特徴が特に有効であった。
• 最適な設定では、600 個の初期スーパーショットと 5 回の反復で収束し、精度と効率のバランスが取れた。
• 定性的な結果から、視覚的特徴に顕著な差がある場合でも、意味的に整合性のあるショットが正しくグループ化されていることが確認され、強固な意味的理解能力を示した。