[論文レビュー] Point-Level Temporal Action Localization: Bridging Fully-supervised Proposals to Weakly-supervised Losses

Chen Ju, Peisen Zhao+3 more|arXiv (Cornell University)|Dec 15, 2020

Human Pose and Action Recognition参考文献 35被引用数 11

ひとこと要約

本稿では、キーポイント検出と学習可能なマッパーを活用して、完全に教師ありのプロポーザルと弱教師ありのカテゴリラベルを接続する、ポイントレベル時空間行動局所化（PTAL）のための新規なプロポーザルベースのフレームワークを提案する。検出されたキーポイントの周囲に一貫性のあるプロポーザルに制約を加えることで、誤検出を顕著に低減し、局所化精度を向上させ、THUMOS14、GTEA、BEOIDで最先端の性能を達成した。

ABSTRACT

Point-Level temporal action localization (PTAL) aims to localize actions in untrimmed videos with only one timestamp annotation for each action instance. Existing methods adopt the frame-level prediction paradigm to learn from the sparse single-frame labels. However, such a framework inevitably suffers from a large solution space. This paper attempts to explore the proposal-based prediction paradigm for point-level annotations, which has the advantage of more constrained solution space and consistent predictions among neighboring frames. The point-level annotations are first used as the keypoint supervision to train a keypoint detector. At the location prediction stage, a simple but effective mapper module, which enables back-propagation of training errors, is then introduced to bridge the fully-supervised framework with weak supervision. To our best of knowledge, this is the first work to leverage the fully-supervised paradigm for the point-level setting. Experiments on THUMOS14, BEOID, and GTEA verify the effectiveness of our proposed method both quantitatively and qualitatively, and demonstrate that our method outperforms state-of-the-art methods.

研究の動機と目的

• ポイントレベル時空間行動局所化（PTAL）におけるフレームレベル予測の高次元な解空間と誤検出の問題に対処する。
• 希少なポイントレベルのアノテーションを活用して、完全に教師ありと弱教師ありTALの性能差を縮小する。
• 完全に教師あり設定で一般的なプロポーザルベースのパラダイムをPTALに適用し、予測の一貫性を強化し、局所化品質を向上させる。
• 弱教師ありカテゴリラベルからプロポーザルレベルの予測へバックプロパゲーションを可能にするため、微分可能なマッパーモジュールを設計する。
• キーポイント検出とプロポーザルベースの予測が、同じ弱教師あり設定下でフレームレベル確率予測を著しく上回ることを実証する。

提案手法

• ポイントレベルのアノテーションを用いてキーポイント検出器を学習し、行動のアンカーポイント（粗い行動中心点）を特定する。
• 各検出されたアンカーポイントに対して、中央オフセットと行動長を予測することでプロポーザルを生成し、局所化された行動セグメントを形成する。
• プロポーザル位置を微分可能なバイナリ時系列マスクに変換する学習可能なマッパーモジュールを導入する。
• バイナリマスクを時系列アテンションとして用い、動画特徴からプロポーザルレベルの分類確率を生成する。
• 微分可能なマッパーを介してカテゴリレベルのラベルにより、全体のパイプラインをエンドツーエンド最適化し、非微分可能な変換にもかかわらずバックプロパゲーションを可能にする。
• 2段階の訓練プロセスを採用：まずポイントレベルラベルを用いたキーポイント検出の訓練、次に弱教師あり分類損失を用いたプロポーザル予測の訓練。

実験結果

リサーチクエスチョン

• RQ1 完全に教師ありTALで有効であったプロポーザルベースの予測パラダイムを、ポイントレベルの教師あり設定に適応可能か？ これにより解空間が縮小され、局所化の一貫性が向上するか？
• RQ2 単一フレームのアノテーションしか入手できない状況下で、完全に教師ありのプロポーザル学習を弱教師ありカテゴリラベルに効果的に接続できるか？
• RQ3 キーポイント検出の精度が、プロポーザルベースのPTALフレームワークにおける最終的な局所化性能にどの程度影響を及えるか？
• RQ4 非微分可能な位置からマスクへの変換にもかかわらず、提案されたマッパーモジュールが弱教師あり学習におけるエンドツーエンド訓練を成功裏に実現できるか？
• RQ5 同じ弱教師あり設定下で、プロポーザルベースのパラダイムはフレームレベル確率予測と比較して、誤検出、連続性、mAPの観点でどの程度優れているか？

主な発見

• 提案手法はGTEAで平均mAP 33.7%を達成し、前回のSOTAを4.5%以上上回った。
• BEOIDでは、最高の競合手法よりも平均mAPで4.5%以上優れており、優れた一般化性能を示した。
• THUMOS14では、完全に教師ありベースラインと比較して6%のmAPギャップを縮小し、性能差を顕著に縮小した。
• SF-Netと比較して、誤検出を低減し、精度を10–15%向上させ、リコールも顕著に向上させた。これは完全な行動の検出が向上したことを示している。
• ガウス分布に従うシミュレーテッドポイントレベルアノテーション下でも、最高の性能（mAP ~65.2）を達成し、ラベル分布へのロバストネスを確認した。
• 定性的な結果では、SF-Netのフレームレベル確率曲線と比較して、より連続的で完全な行動予測が得られ、誤検出が少ないことが示された。