[論文レビュー] Multi-modal Capsule Routing for Actor and Action Video Segmentation Conditioned on Natural Language Queries

Bruce McIntosh, Kevin Duarte+2 more|arXiv (Cornell University)|Dec 2, 2018

Human Pose and Action Recognition参考文献 24被引用数 8

ひとこと要約

本論文は、自然言語クエリに基づいて動画内のエージェントとアクティビティをピクセル単位で局所化するエンドツーエンドのキャプセルネットワークを提案する。ビデオとテキストをキャプセルとして符号化し、マルチモーダル統合のための新規な共同EMルーティング手法を用いることで、自然言語による監視下での動画セグメンテーションにおいて最先端の性能を達成し、従来の1フレームベース手法や畳み込みベースラインを上回る。

ABSTRACT

In this paper, we propose an end-to-end capsule network for pixel level localization of actors and actions present in a video. The localization is performed based on a natural language query through which an actor and action are specified. We propose to encode both the video as well as textual input in the form of capsules, which provide more effective representation in comparison with standard convolution based features. We introduce a novel capsule based attention mechanism for fusion of video and text capsules for text selected video segmentation. The attention mechanism is performed via joint EM routing over video and text capsules for text selected actor and action localization. The existing works on actor-action localization are mainly focused on localization in a single frame instead of the full video. Different from existing works, we propose to perform the localization on all frames of the video. To validate the potential of the proposed network for actor and action localization on all the frames of a video, we extend an existing actor-action dataset (A2D) with annotations for all the frames. The experimental evaluation demonstrates the effectiveness of the proposed capsule network for text selective actor and action localization in videos, and it also improves upon the performance of the existing state-of-the art works on single frame-based localization.

研究の動機と目的

• 自然言語クエリに条件づけられたエンドツーエンドの動画レベルのエージェントおよびアクティビティ局所化を可能にし、1フレームベースの手法を超えること。
• 標準的な畳み込み特徴とは異なり、キャプセルを用いることで動画とテキストの表現学習を向上させること。
• 視覚的および言語的情報を効果的に統合するための、新規なマルチモーダルキャプセルルーティング手法を開発すること。
• スパatiotemporal局所化の評価を可能にするために、A2Dデータセットにフルビデオアノテーションを追加すること。
• キャプセルベースのモデリングが、クロスモーダルなビデオグラウンディングにおいて、畳み込みアプローチよりもエンティティ間の関係をよりよく捉えられることを示すこと。

提案手法

• スパatiotemporal特徴を符号化するため、3D-CNNバックボーンを用いて動画フレームからキャプセルを抽出する。
• テキストクエリはトークン化され、トランスフォーマーに基づくエンコーダーを用いてテキストキャプセルに埋め込まれる。
• ビデオキャプセルとテキストキャプセルの間で共同EMルーティングアルゴリズムを適用し、注視に類似した相互作用を学習し、高レベルで分離された表現を形成する。
• 得られたエージェントキャプセルは、ルーティングに基づくマスキング機構を用いてマスクされ、不要な特徴を抑制し、セグメンテーション損失をガイドする。
• スケイルーピング接続を備えたマルチスケールセグメンテーションヘッドが、キャプセル特徴をアップサンプリングして複数スケールでの密集型バイナリセグメンテーションマスクを生成する。
• ネットワークはセグメンテーション損失と分類損失の組み合わせで訓練され、アブレーションによりマスキングが性能に不可欠であることが示された。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、微細なピクセル単位の局所化を実現するため、マルチモーダルなビデオとテキスト入力を効果的に表現・統合できるか？
• RQ2 ビデオキャプセルとテキストキャプセル間の共同EMルーティングは、連結や要素ごとの乗算といった従来の統合手法を上回るか？
• RQ3 フルビデオ、エンドツーエンドの局所化は、1フレームベースのベースラインと比較して、正確性および時空間的一致性において優れているか？
• RQ4 マスキング、分類損失、マルチスケール監視といったアーキテクチャ的要素が、セグメンテーション性能に与える影響は何か？
• RQ5 キャプセルベースの表現は、畳み込み特徴と比較して、動画グラウンディングタスクにおいてオブジェクトの関係性や空間階層をよりよくモデル化できるか？

主な発見

• 拡張されたA2Dデータセット（フルビデオアノテーション付き）において、本手法はP@0.5が52.6%、mAPが30.3%、Mean IoUが46.0%を達成した。
• アブレーションスタディにより、キャプセルマスキングが不可欠であることが示された—分類損失が存在しても、マスキングを削除すると性能が著しく低下した。
• マルチモーダルキャプセルルーティング機構は、すべてのベースライン統合手法を上回った。連結法（P@0.5 22.9%）や乗算法（P@0.5 38.4%）を上回った。
• キャプセルネットワークにおけるポーズ行列や活性化の動的フィルタリングは、共同EMルーティングより性能が悪く、EMルーティングがクロスモーダルアライメントにさらに効果的であることが示された。
• スケイルーピング接続とマルチスケール監視を備えたネットワークが最高の性能を示し、マルチスケール監視が局所化の正確性を向上させることを示した。
• 失敗事例の主な原因は、ごみだらけのシーンにおけるエージェント選択の曖昧さ、または「ボール」のような小さな／遠く離れたオブジェクトであり、動画キャプセルの品質に限界があることが示唆された。