[論文レビュー] Equivalent Classification Mapping for Weakly Supervised Temporal Action Localization

Tao Zhao, Junwei Han+2 more|arXiv (Cornell University)|Aug 18, 2020

Human Pose and Action Recognition被引用数 7

ひとこと要約

本論文は、1つの分類器を共有する2つの並列なストリームを用いて、事前分類と事後分類のパイプラインを統合する、弱教師付き時系列行動局所化のための新規フレームワークである等価分類マッピング（ECM）を提案する。フレームレベルのスコアと特徴量集約重みの整合性を強制し、重み遷移モジュールと等価トレーニング戦略を用いることで、THUMOS14で54.3%のフレーム精度を達成し、ベースラインやモデルアンサンブルを著しく上回る。

ABSTRACT

Weakly supervised temporal action localization is a newly emerging yet widely studied topic in recent years. The existing methods can be categorized into two localization-by-classification pipelines, i.e., the pre-classification pipeline and the post-classification pipeline. The pre-classification pipeline first performs classification on each video snippet and then aggregate the snippet-level classification scores to obtain the video-level classification score. In contrast, the post-classification pipeline aggregates the snippet-level features first and then predicts the video-level classification score based on the aggregated feature. Although the classifiers in these two pipelines are used in different ways, the role they play is exactly the same---to classify the given features to identify the corresponding action categories. To this end, an ideal classifier can make both pipelines work. This inspires us to simultaneously learn these two pipelines in a unified framework to obtain an effective classifier. Specifically, in the proposed learning framework, we implement two parallel network streams to model the two localization-by-classification pipelines simultaneously and make the two network streams share the same classifier. This achieves the novel Equivalent Classification Mapping (ECM) mechanism. Moreover, we discover that an ideal classifier may possess two characteristics: 1) The frame-level classification scores obtained from the pre-classification stream and the feature aggregation weights in the post-classification stream should be consistent; 2) The classification results of these two streams should be identical. Based on these two characteristics, we further introduce a weight-transition module and an equivalent training strategy into the proposed learning framework, which assists to thoroughly mine the equivalence mechanism.

研究の動機と目的

• セグメントレベルのアノテーションが存在しない弱教師付き時系列行動局所化の課題に対処すること。
• 主な2つのパイプライン（事前分類と事後分類）を統合し、1つの整合的な学習フレームワークにすること。
• フレームレベルの予測と集約された動画レベル特徴量の間の等価性を維持する共有分類器を学習すること。
• パイプライン間での分類スコアと注目重みの整合性を強制することで、局所化精度を向上させること。
• 複数のベンチマークに一般化可能な、シンプルだが効果的な弱教師付き行動局所化のベースラインを確立すること。

提案手法

• 同じ分類器を共有する並列な事前分類および事後分類パイプラインを持つデュアルストリームネットワークアーキテクチャを提案する。
• 2つのストリーム間の勾配を同期化することで分類器の一貫性を強制する、等価トレーニング戦略を導入する。
• 事後分類ストリームにおけるフレームレベル分類スコアと特徴量集約重みを一致させるために、重み遷移モジュールを設計する。
• 両方のストリームを監督するための動画レベル分類損失 $\mathcal{L}_{\text{cls}}$ を使用し、エンド・ツー・エンドの学習を保証する。
• ポイントレベル特徴量および集約された動画レベル特徴量の両方から、統一された分類器を用いて行動カテゴリを予測する。
• t-SNE可視化を用いて、集約された特徴量が行動特徴量と同じ多様体上に位置することを確認し、等価性仮定の裏付けを得る。

実験結果

リサーチクエスチョン

• RQ1 共有分類器は、弱教師付き時系列行動局所化における事前分類と事後分類パイプラインを効果的に統合できるか？
• RQ2 フレームレベルスコアと集約重みの整合性を強制することで、局所化精度が向上するか？
• RQ3 提案された等価メカニズムは、モデルアンサンブルや個別のパイプラインベースラインを上回るか？
• RQ4 重み遷移モジュールは2つのパイプラインの一致にどのように寄与するか？
• RQ5 提案されたフレームワークは、複数のベンチマークにわたって頑健で一般化可能か？

主な発見

• ECMはTHUMOS14データセットで54.3%のフレーム精度を達成し、事前分類パイプライン（42.7%）と事後分類パイプライン（39.0%）を著しく上回る。
• ECM（29.1 mAP）とモデルアンサンブル（21.4 mAP）の性能差は、単純なアンサンブル化よりも等価メカニズムの優位性を示している。
• 重み遷移モジュールと等価トレーニング戦略を組み合わせることで、直接的な等価実装に比べて性能が8.7 mAP向上した。
• 定性的な可視化では、ECMがより鋭く、より特徴的な活性化シーケンスを生成し、背景応答を抑制しながら正確に行動インスタンスを局所化していることが示された。
• t-SNE可視化により、集約された動画レベル特徴量が行動特徴量と同じ特徴多様体上に位置していることが確認され、ECMの理論的基盤が妥当であることが裏付けられた。
• ECMはアーキテクチャの複雑さや追加コンponentsを必要とせず、将来の研究のための強力でシンプルなベースラインを確立した。