[論文レビュー] Localizing Unseen Activities in Video via Image Query

Zhu Zhang, Zhou Zhao+3 more|arXiv (Cornell University)|Jun 28, 2019

Human Pose and Action Recognition参考文献 22被引用数 7

ひとこと要約

本論文は、画像クエリを用いて未学習のアクティビティを非トリムド動画内で局所化する、画像ベースのアクティビティ局所化という新しいタスクを提案する。自己注意相互作用局所化器（SAIL）を導入し、細粒度な画像表現のための領域自己注意、画像と動画特徴の多段階統合のためのローカルトランスフォーマーエンコーダ、正確な境界予測のための順序に敏感な局所化器を備える。ActivityIBALという新規に構築されたデータセットにおいて、最先端の性能を達成した。

ABSTRACT

Action localization in untrimmed videos is an important topic in the field of video understanding. However, existing action localization methods are restricted to a pre-defined set of actions and cannot localize unseen activities. Thus, we consider a new task to localize unseen activities in videos via image queries, named Image-Based Activity Localization. This task faces three inherent challenges: (1) how to eliminate the influence of semantically inessential contents in image queries; (2) how to deal with the fuzzy localization of inaccurate image queries; (3) how to determine the precise boundaries of target segments. We then propose a novel self-attention interaction localizer to retrieve unseen activities in an end-to-end fashion. Specifically, we first devise a region self-attention method with relative position encoding to learn fine-grained image region representations. Then, we employ a local transformer encoder to build multi-step fusion and reasoning of image and video contents. We next adopt an order-sensitive localizer to directly retrieve the target segment. Furthermore, we construct a new dataset ActivityIBAL by reorganizing the ActivityNet dataset. The extensive experiments show the effectiveness of our method.

研究の動機と目的

• 既存のアクティビティ局所化手法が事前に定義されたアクティビティセットに限定されているという制限に対処すること。
• 画像クエリのみを参照として、非トリムド動画内の未学習アクティビティを局所化できること。
• 画像クエリに不要なコンテンツが含まれる、曖昧なクエリ意味、不正確なセグメント境界といった課題を克服すること。
• 画像クエリと動画セグメント間の視覚的意味を効果的に一致させるエンドツーエンドフレームワークを開発すること。
• 画像ベースのアクティビティ局所化分野の研究を支援するため、ActivityIBALという新規ベンチマークデータセットを構築すること。

提案手法

• Faster R-CNN特徴から細粒度な画像領域表現を学ぶために、相対的位置エンコーディングを組み合わせた領域自己注意メカニズムを提案。
• 長距離依存性をモデル化し、画像と動画特徴のマルチステップ統合を可能にする、マルチヘッドローカル自己注意を備えたローカルトランスフォーマーエンコーダを採用。
• 正確な開始・終了境界予測のため、前方および後方のコンテキストを統合するための双方向アグリゲーション機構を順序に敏感な局所化器に導入。
• 関連する画像領域に注目し、不要な視覚的コンテンツを抑制するため、フレームレベルの注目メカニズムを適用。
• 画像クエリと動画アクティビティ間の正確なおよび粗い意味的一致を処理するためのマルチレベル相互作用戦略を採用。
• アクティビティのクラスが完全に分離された学習・検証・テストセットに再編成することで、ActivityIBALデータセットを構築。

実験結果

リサーチクエスチョン

• RQ1 画像クエリは、非トリムド動画内の未学習アクティビティの局所化を効果的にガイドできるか？
• RQ2 局所化の過程で、画像クエリ内の意味的に不要なコンテンツをモデルがどのように耐性を持って扱えるか？
• RQ3 曖昧または不正確なクエリ条件下で、マルチレベル特徴統合はどれほど局所化性能を向上させられるか？
• RQ4 過去および未来のフレームからのコンテキスト情報を組み込むことで、境界予測の正確性はどの程度向上するか？
• RQ5 画像クエリを用いた未学習アクティビティのエンドツーエンド局所化に最適なアーキテクチャ設計は何か？

主な発見

• 提案されたSAILモデルは、ActivityIBALテストセットで最高のmIoU 49.66%を達成し、すべてのベースラインを上回った。
• アブレーションスタディにより、領域自己注意が不可欠であることが確認され、削除した場合のmIoUは46.63%に低下した。
• マルチレベル相互作用（SAIL w/o. ML）は、IoU@0.5およびIoU@0.7の両方で著しく劣化し、正確な境界局所化においてその重要性が示された。
• ローカル自己注意および双方向アグリゲーションのコンponentが、曖昧なクエリの処理に最も効果的であり、困難なサンプルでの性能低下を軽減した。
• 最適なローカルトランスフォーマーエンコーダの深さは5層であり、層数が少なすぎたり多すぎたりすると性能が低下した。
• モデルはハードサンプルに対しても強く、24.37%のIoU@0.7を維持し、他の手法を著しく上回った。