[論文レビュー] Weakly Supervised Action Learning with RNN based Fine-to-coarse Modeling

Alexander Richard, Hilde Kuehne+1 more|arXiv (Cornell University)|Mar 23, 2017

Human Pose and Action Recognition被引用数 8

ひとこと要約

本稿では、フレームレベルのアノテーションなしで、未編集動画内のアクションを局所化および分類するための弱教師ありアクション認識フレームワークを提案する。RNNを用いた細分化から粗分化へのモデリングにより、反復的な再整列と再推定によって部分アクションの数を段階的に最適化することで、BreakfastおよびHollywood Extendedデータセットにおいて、時間的アクションセグメンテーションおよびアクションアライメントのタスクで最先端の性能を達成した。

ABSTRACT

We present an approach for weakly supervised learning of human actions. Given a set of videos and an ordered list of the occurring actions, the goal is to infer start and end frames of the related action classes within the video and to train the respective action classifiers without any need for hand labeled frame boundaries. To address this task, we propose a combination of a discriminative representation of subactions, modeled by a recurrent neural network, and a coarse probabilistic model to allow for a temporal alignment and inference over long sequences. While this system alone already generates good results, we show that the performance can be further improved by approximating the number of subactions to the characteristics of the different action classes. To this end, we adapt the number of subaction classes by iterating realignment and reestimation during training. The proposed system is evaluated on two benchmark datasets, the Breakfast and the Hollywood extended dataset, showing a competitive performance on various weak learning tasks such as temporal action segmentation and action alignment.

研究の動機と目的

• 行動の順序のみが与えられる、最小限の監督のもとで未編集動画における時間的アクション局所化の課題に対処すること。
• フレームレベルのアノテーションに依存するのを減らすために、行動の順序情報のみを用いた弱教師あり学習を活用すること。
• アクションを部分アクションの系列としてモデル化し、各アクションクラスごとに部分アクション数を適応的に調整することで、局所化の正確性を向上させること。
• RNNと確率的モデリングを組み合わせたハイブリッドな細分化から粗分化へのアーキテクチャを用いて、長時間の動画シーケンスに対する堅牢な推論を可能とすること。
• 手動での境界アノテーションを一切必要とせず、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 短い時間的クリップから部分アクションの判別的表現を学習するため、再帰的ニューラルネットワーク（RNN）を用いる。
• 時間的アライメントと全動画にわたる長時間シーケンスの推論を可能とするため、粗い確率的モデルを統合する。
• 与えられた行動の順序に基づき、動画全体に均等に行動を配置することで、アクションセグメンテーションを初期化する。
• RNNの再訓練と各アクションクラスごとの部分アクション数の更新により、フレームから部分アクションへのアライメントを反復的に最適化する。
• 各トレーニングイテレーション中に推定された時間的特性に基づき、各アクションクラスごとの部分アクション数を再推定する。
• 収束するまで、反復的な再整列と再推定のループを実行し、セグメンテーションおよび分類性能の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 行動の順序アノテーションのみを用いて、細分化から粗分化へのRNNベースのアーキテクチャが、弱教師あり動画におけるアクションの局所化に有効に機能するか。
• RQ2 各アクションクラスごとに部分アクション数を動的に適応させることで、固定された部分アクション数と比較して、局所化の正確性が向上するか。
• RQ3 提案された反復的再整列と再推定プロセスは、長く複雑な動画シーケンスにおいて、性能にどのように影響を与えるか。
• RQ4 既存の最先端手法と比較して、弱教師あり時間的アクションセグメンテーションにおいて、どの程度性能が優れているか。
• RQ5 部分アクションの適応による性能向上は、データセット間でアクションの持続時間のばらつきが大きい場合に顕著に現れるか。

主な発見

• 時間的アクションセグメンテーションタスクにおいて、本手法はBreakfastデータセットで33.3%の平均フレーム（Mof）精度を達成し、先行する最先端手法を上回った。
• Hollywood Extendedデータセットでは、時間的アクションセグメンテーションのJaccardインデックス（IoU）が11.9%に達し、再推定を行わないベースラインのGRUモデルよりも顕著に向上した。
• アクションアライメントタスクにおいて、本手法はBreakfastデータセットで47.3%、Hollywood Extendedデータセットで46.3%のJaccardインデックスを達成し、比較した全ベースラインを上回った。
• 反復的再推定による性能向上は、行動の持続時間が大きくばらつきが生じるBreakfastデータセットで顕著に現れ、異種の行動長に対する適応性の向上を示した。
• 再推定を施したGRUベースのモデルは、LSTMを用いたECTCシステムおよびHTKシステムを上回り、部分アクション適応戦略の有効性を裏付けた。
• アブレーションスタディの結果、RNNベースの細粒度表現を統合した粗いモデルが競争力のある性能を示し、ハイブリッドアーキテクチャの設計選択の妥当性を検証した。