[論文レビュー] Connectionist Temporal Modeling for Weakly Supervised Action Labeling

De-An Huang, Li Fei-Fei+1 more|arXiv (Cornell University)|Jul 28, 2016

Human Pose and Action Recognition参考文献 43被引用数 27

ひとこと要約

本稿では、フレーム間の視覚的類似性を活用して、時間的アノテーションを必要とせずに動画フレームとアクションラベルの間の一貫性のあるアライメントを強制する弱教師ありフレームワーク、拡張接続主義的時系列分類（ECTC）を提案する。CTCを視覚的一致性制約で拡張し、スパarsなフレームレベルアノテーションを用いた半教師あり学習を可能にすることで、1%未塔のラベル付きフレームで最先端の性能を達成し、一部の設定では完全教師ありベースラインを上回る。

ABSTRACT

We propose a weakly-supervised framework for action labeling in video, where only the order of occurring actions is required during training time. The key challenge is that the per-frame alignments between the input (video) and label (action) sequences are unknown during training. We address this by introducing the Extended Connectionist Temporal Classification (ECTC) framework to efficiently evaluate all possible alignments via dynamic programming and explicitly enforce their consistency with frame-to-frame visual similarities. This protects the model from distractions of visually inconsistent or degenerated alignments without the need of temporal supervision. We further extend our framework to the semi-supervised case when a few frames are sparsely annotated in a video. With less than 1% of labeled frames per video, our method is able to outperform existing semi-supervised approaches and achieve comparable performance to that of fully supervised approaches.

研究の動機と目的

• 訓練時にフレームレベルの時間的アノテーションが一切ない状況下で、唯一の入力であるアクションの順序に基づいて弱教師あり動画アクションラベリングを実現すること。
• 膨大な数の可能なアライメントの中から、退化または視覚的に一貫性のないフレーム-ラベルアライメントが生じるリスクを低減すること。
• アライメントスコアリングプロセスに視覚的類似性を組み込むことで、動画アクションロケーションにおける時間的モデリングを向上させること。
• スパarsなフレームレベルアノテーションを用いた半教師あり学習へのフレームワークの拡張により、アライメント探索空間を著しく縮小すること。
• 最小限の監視情報で完全教師ありモデルと同等の性能を達成すること。

提案手法

• 動的計画法を用いて、すべての可能なフレーム-ラベルアライメントを効率的に評価することで、接続主義的時系列分類（CTC）を動画アクションラベリングに適応する。
• フレーム間の視覚的類似性を明示的に用いてアライメントの一貫性を強制する拡張CTC（ECTC）を導入し、視覚的に不自然なアライメントを除外する。
• 前方後方アルゴリズムを変更し、視覚的類似性スコアを組み込み、連続するフレーム間の視覚的一致性に基づいてアライメントを重み付けする。
• 既知のフレーム-ラベルアライメントを制約としてモデル化することで、フレームレベルの半教師あり学習に対応するアライメント空間を削減する。
• 弱教師あり（アクションの順序）とスパarsなフレームレベル監視を統合的にモデル化する統一最適化フレームワークを用いる。
• 時間的モデリングとアライメントスコアリングの入力表現として、事前学習済みモデルからの深層特徴を活用する。

実験結果

リサーチクエスチョン

• RQ1 時間的アノテーションが一切ない状況下で、アクションの順序のみから、時間的モデリングフレームワークがアクションロケーションを効果的に学習できるか。
• RQ2 連続するフレーム間の視覚的一致性を、弱教師ありアクションラベリングにおけるアライメント品質向上にどのように活用できるか。
• RQ3 スパarsなフレームレベルアノテーションは、弱教師あり動画理解におけるアライメント精度の向上と探索空間の縮小に、どの程度寄与するか。
• RQ4 1%未塔のラベル付きフレームに限定された状況で、弱教師ありモデルが完全教師ありベースラインを上回れるか。
• RQ5 アライメントスコアリングプロセスに視覚的類似性を組み込むことで、退化または一貫性のないアライメントに対するロバストネスはどの程度向上するか。

主な発見

• ECTCは、アクション検出およびアライメントタスクにおいて、既存の弱教師ありベースラインを上回り、アクションの順序のみで学習させても有効である。
• 1本の動画あたり1%未塔のラベル付きフレームで学習した場合、ECTCの半教師あり拡張版は、完全教師ありの最先端手法と同等の性能を達成する。
• ECTCに視覚的類似性を組み込むことで、視覚的に一貫性のないまたは退化したアライメントの影響が顕著に低減される。
• Hollywood2データセットでは、ECTCは弱教師ありアクション検出においてOCDCベースラインを上回る平均適合率（mAP）を達成し、時間的モデリングの有効性を示している。
• 評価セットにおいて、ECTCのバリエーションは、Jaccard係数において均一なベースラインおよびOCDCを上回る強力なアライメント性能を発揮している。
• 定性的な結果から、ECTCは複雑で長い動画においても、さまざまな継続時間のアクションを正確にローカライズできていることが示されている。