[論文レビュー] A Multi-scale Multiple Instance Video Description Network

Huijuan Xu, Subhashini Venugopalan+3 more|arXiv (Cornell University)|May 21, 2015

Multimodal Machine Learning Applications参考文献 8被引用数 46

ひとこと要約

本稿では、完全畳み込みネットワーク（FCN）と複数インスタンス学習（MIL）を組み合わせることで、さまざまなスケールおよび位置のオブジェクトを動画フレーム内で検出・局所化できる、エンドツーエンドで学習可能なアーキテクチャであるマルチスケール・マルチインスタンス動画記述ネットワーク（MM-VDN）を提案する。マルチスケールFCN特徴量とシーケンス・ツー・シーケンスLSTMを統合することで、単一スケールのCNNベースラインと比較してより正確で詳細な動画記述を生成し、YouTube動画記述ベンチマークで最先端の性能を達成した。

ABSTRACT

Generating natural language descriptions for in-the-wild videos is a challenging task. Most state-of-the-art methods for solving this problem borrow existing deep convolutional neural network (CNN) architectures (AlexNet, GoogLeNet) to extract a visual representation of the input video. However, these deep CNN architectures are designed for single-label centered-positioned object classification. While they generate strong semantic features, they have no inherent structure allowing them to detect multiple objects of different sizes and locations in the frame. Our paper tries to solve this problem by integrating the base CNN into several fully convolutional neural networks (FCNs) to form a multi-scale network that handles multiple receptive field sizes in the original image. FCNs, previously applied to image segmentation, can generate class heat-maps efficiently compared to sliding window mechanisms, and can easily handle multiple scales. To further handle the ambiguity over multiple objects and locations, we incorporate the Multiple Instance Learning mechanism (MIL) to consider objects in different positions and at different scales simultaneously. We integrate our multi-scale multi-instance architecture with a sequence-to-sequence recurrent neural network to generate sentence descriptions based on the visual representation. Ours is the first end-to-end trainable architecture that is capable of multi-scale region processing. Evaluation on a Youtube video dataset shows the advantage of our approach compared to the original single-scale whole frame CNN model. Our flexible and efficient architecture can potentially be extended to support other video processing tasks.

研究の動機と目的

• 複雑な動画フレームにおける小規模または複数のオブジェクトの検出に限界を示す単一スケール・全フレームCNNの課題を解決すること。
• オブジェクトのスケール、位置、数の不確実性を扱いながら、動画記述のエンドツーエンド学習を可能にすること。
• 空間的に局所化されたマルチスケールの視覚的表現を統合することで、動画キャプションの性能を向上させること。
• バウンディングボックスやインスタンスレベルのアノテーションを必要とせず、文レベルのアノテーションからの弱い教師信号を活用すること。

提案手法

• 事前学習済みのAlexNetを完全畳み込みネットワーク（FCN）に変換し、複数の入力スケールでクラススコアマップを生成する。
• 異なる入力解像度を持つ複数のFCNを用いて、さまざまな受容野サイズの特徴量を取得し、小規模および大規模なオブジェクトの検出を可能にする。
• 文のキャプションからの弱い教師信号に基づき、各スケールで最も関連性の高い領域とスケールを選択するための複数インスタンス学習（MIL）機構を適用する。
• MIL処理済みのマルチスケール特徴量をシーケンス・ツー・シーケンスLSTMデコーダーに統合し、自然言語の記述を生成する。
• 正解文アノテーションに基づく交差エントロピー損失を用いて、ネットワーク全体をエンドツーエンドで学習する。
• CNN部の初期化に事前学習済みImageNet重みを使用することで、特徴量の質を向上させ、収束性を改善する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴抽出は、単一スケールの全フレームCNNと比較して、動画記述の質を向上させるか？
• RQ2 インスタンスレベルのアノテーションがなければ、複数インスタンス学習（MIL）は関連する視覚的コンセプトをどれほど効果的に局所化できるか？
• RQ3 マルチスケールFCN特徴量とエンドツーエンドで学習可能なアーキテクチャを組み合わせることで、キャプション性能はどの程度向上するか？
• RQ4 異なる入力スケールや学習制度は、動画内の小規模または遠く離れたオブジェクトの検出と記述能力にどのように影響するか？

主な発見

• MM-VDNは、単一スケールのCNNベースラインや既存のモデル（LSTM-YT や FGM）を著しく上回り、正確な動画記述を生成した。
• モデルはより詳細で文脈的に正しいキャプションを生成し、例として「男がセロリをみじん切りにしている」を正しく特定する一方で、「男がトマトをみじん切りにしている」と誤認するのを回避した。
• FCN部のヒートマップは、セロリやギターのような小規模なオブジェクトを明確に局所化しており、マルチスケール検出の有効性を示している。
• マルチスケール特徴量とMILの組み合わせは相乗効果をもたらし、異なるスケールが別々の高スコア特徴量を寄与していることを示すヒストグラムから明らかになった。
• テストケースの70％で、MM-VDNは部分的または完全に正しい記述を生成し、全フレーム特徴量では見えない動作やオブジェクトの検出において顕著な向上が見られた。
• ベースラインと比較して、誤った記述（例：「パンダが歩いている」ではなく「カメが歩いている」）を減らしており、正解とより良い一致を示している。