[論文レビュー] Decoupling Localization and Classification in Single Shot Temporal Action Detection

Yupan Huang, Qi Dai+1 more|arXiv (Cornell University)|Apr 16, 2019

Human Pose and Action Recognition参考文献 21被引用数 4

ひとこと要約

本稿では、局所化と分類を別々のブランチに分離することで、特徴の専門的学習を可能にする、新しい1段階型時系列行動検出フレームワークであるDecouple-SSADを提案する。畳み込みの逆変換（deconvolution）を用いて深層層からの特徴マップを精錬し、エンドツーエンドで学習することで、THUMOS14で35.8%のmAP@0.5を達成し、従来の1段階型手法を上回り、2段階型SOTAに近い性能を実現した。

ABSTRACT

Video temporal action detection aims to temporally localize and recognize the action in untrimmed videos. Existing one-stage approaches mostly focus on unifying two subtasks, i.e., localization of action proposals and classification of each proposal through a fully shared backbone. However, such design of encapsulating all components of two subtasks in one single network might restrict the training by ignoring the specialized characteristic of each subtask. In this paper, we propose a novel Decoupled Single Shot temporal Action Detection (Decouple-SSAD) method to mitigate such problem by decoupling the localization and classification in a one-stage scheme. Particularly, two separate branches are designed in parallel to enable each component to own representations privately for accurate localization or classification. Each branch produces a set of action anchor layers by applying deconvolution to the feature maps of the main stream. Each branch produces a set of feature maps by applying deconvolution to the feature maps of the main stream. High-level semantic information from deeper layers is thus incorporated to enhance the feature representations. We conduct extensive experiments on THUMOS14 dataset and demonstrate superior performance over state-of-the-art methods. Our code is available online.

研究の動機と目的

• 1段階型時系列行動検出手法が、共通のバックボーンを用いて局所化と分類を同時に最適化するため、特徴の専門的学習が制限されるという問題を解決すること。
• 専用のブランチを設けることで、プロポーザル生成と行動分類の最適化を別々に可能にし、検出精度を向上させること。
• deconvolutionを用いて深層層からの高レベルの意味的特徴をアンカー特徴マップに統合し、表現品質を向上させること。
• 1段階型のエンドツーエンド学習パラダイムを維持しつつ、標準的なTHUMOS14ベンチマークで最先端の性能を達成すること。

提案手法

• フレームワークは、共通のメインストリームから派生する2つの並列ブランチ（分類ブランチとプロポーザルブランチ）を導入し、局所化と分類の最適化を分離する。
• 各ブランチは、深層層からの特徴マップにdeconvolutionを適用し、アップサンプリングと表現の精錬を行い、高レベルの意味的コンテキストを統合する。
• 各ブランチでメインストリームの特徴マップにdeconvolutionを適用することで、アンカー層を生成し、各タスクに特化した特徴学習を可能にする。
• ネットワーク全体をエンドツーエンドで学習することで、共同最適化を可能にしつつ、タスク固有の特徴表現を保持する。
• アブレーションとして、局所化と分類を1つのブランチに統合したリファインメントブランチを評価したが、分離型アプローチに比べて効果が劣っていた。
• 1段階推論効率を維持しながら精度を向上させる、マルチブランチアンカー・ネットワークアーキテクチャを採用している。

実験結果

リサーチクエスチョン

• RQ1 1段階型フレームワークで局所化と分類を分離することで、特徴の専門的学習を可能にし、時系列行動検出の性能を向上させられるか？
• RQ2 deconvolutionを用いて深層層からの高レベル意味的特徴を統合することで、局所化と分類の精度にどのような影響を与えるか？
• RQ3 各タスクに専用ブランチを設けることで、両方のタスクを同時に最適化する共有ブランチを上回る性能が得られるか？
• RQ4 別々のブランチと統合されたリファインメントブランチの両方が、THUMOS14のmAP向上にどのように寄与するか？
• RQ5 分離型1段階手法は、最先端の2段階型手法と同等の性能を達成できるか？

主な発見

• Decouple-SSADはTHUMOS14データセットでmAP@0.5が35.8%を達成し、最良の1段階型ベースライン（SSAD）を11.2ポイント上回った。
• アブレーションスタディの結果、分類ブランチ単体でmAP@0.5が1.0%向上、プロポーザルブランチで2.2%向上した。
• 両ブランチを組み合わせることで、ベースライン比で4.6%の向上が得られ、分離型特徴学習の有効性が裏付けられた。
• 両タスクを1本のパスに統合したリファインメントブランチは、僅か2.8%の向上にとどまり、分離型アプローチがより効果的であることが確認された。
• Kineticsで事前学習を行うと、mAP@0.5が44.2%にまで上昇し、提案アーキテクチャの強力な汎化性とスケーラビリティを示した。
• 最良の1段階型競合手法（SS-TAD）を6.6%上回り、最良の2段階型手法（BSN）からわずか1.1%の差にとどまり、非常に高い競争力を持つことが示された。