[論文レビュー] Action Recognition by Hierarchical Mid-level Action Elements

Tian Lan, Yuke Zhu+2 more|arXiv (Cornell University)|Aug 31, 2015

Human Pose and Action Recognition参考文献 39被引用数 14

ひとこと要約

本論文は、時間的アノテーションを必要とせず、非トリムド動画から判別性の高い時空間セグメントを自動で発見する弱教師付き階層的ミドルレベル行動素因（MAE）表現を提案する。空間的・時間的・階層的関係を捉える構造化モデルを用いて、行動ラベルとMAEラベルを同時に推論することで、行動認識および行動解析ベンチマークで最先端の性能を達成する。

ABSTRACT

Realistic videos of human actions exhibit rich spatiotemporal structures at multiple levels of granularity: an action can always be decomposed into multiple finer-grained elements in both space and time. To capture this intuition, we propose to represent videos by a hierarchy of mid-level action elements (MAEs), where each MAE corresponds to an action-related spatiotemporal segment in the video. We introduce an unsupervised method to generate this representation from videos. Our method is capable of distinguishing action-related segments from background segments and representing actions at multiple spatiotemporal resolutions. Given a set of spatiotemporal segments generated from the training data, we introduce a discriminative clustering algorithm that automatically discovers MAEs at multiple levels of granularity. We develop structured models that capture a rich set of spatial, temporal and hierarchical relations among the segments, where the action label and multiple levels of MAE labels are jointly inferred. The proposed model achieves state-of-the-art performance in multiple action recognition benchmarks. Moreover, we demonstrate the effectiveness of our model in real-world applications such as action recognition in large-scale untrimmed videos and action parsing.

研究の動機と目的

• 複雑な人間行動を、複数の時空間スケールにおけるミドルレベル行動素因（MAE）の階層的集合としてモデル化することにより、動画内の複雑な行動認識と解析に挑戦する。
• 事前にラベル付けされた部分行動セグメントや時間的境界を必要とせず、データ駆動的にMAEを発見できるようにし、先行研究における専門家が指定したラベルに依存する問題を克服する。
• 発見されたセグメント間の空間的・時間的・階層的関係を符号化する構造化モデルを用いて、行動ラベルと複数レベルのMAEラベルを同時に推論する。
• 標準的なベンチマーク、特にトリムドされていない動画シーケンスを含む、行動認識および行動解析の両分野で最先端の性能を達成する。

提案手法

• 本手法は、弱教師付きの凝集的クラスタリング手順を用いて動画クリップから時空間領域候補のプールを生成することで開始され、判別性の高いMAEを発見する。
• 複数の粒度レベルでのMAEを自動で発見するための判別的クラスタリングアルゴリズムを導入し、行動関連セグメントとバックグラウンドセグメントを区別する。
• 発見されたセグメント間の空間的・時間的・階層的依存関係をモデル化することで、行動ラベルとMAEラベルを同時に推論する構造化モデルを開発する。
• 訓練中に行動レベルのラベルのみを用いるため、部分行動の時間的アノテーションを必要とせず、弱教師付き学習を実現する。
• 入力表現としてIDTF（慣性差分テンソル特徴）を用い、階層的CRFに類似した構造を用いた構造的予測により、同時推論を実行する。
• 低レベルのMAEを組み合わせて高レベルの行動パターンを構築する階層構造を構築し、学習データ内の頻度と共起性に基づいて自動的にラベルを生成する。

実験結果

リサーチクエスチョン

• RQ1 時間的アノテーションを必要とせず、非トリムド動画から弱教師付きでミドルレベル行動素因（MAE）を自動で発見できるか？
• RQ2 MAEの階層的表現は、複数の時空間スケールで行動認識および解析性能を向上させることができるか？
• RQ3 行動レベルのラベルのみが与えられた状況で、モデルは複雑な行動をその構成要素であるMAEに正確に局在化および解析できるか？
• RQ4 自動で発見されたMAE、特に人間中心でないセグメント（例：冷蔵庫の動き）は、行動認識における判別力にどの程度寄与するか？

主な発見

• 提案手法は、THUMOS 2015行動認識ベンチマークで最先端の性能を達成し、20の行動クラスのうち10クラスで先行手法を上回った。特に、クラス内変動が大きい複雑な行動（Diving や CleanAndJerk）で顕著な向上を示した。
• MPI Cookingデータセットでは、スライディングウィンドウベースラインに対して、全オーバlap閾値でmAPが8.6%向上し、PASCAL VOCの閾値（IoU > 0.5）では8.5%の向上を達成した。
• モデルは長時間の非トリムド動画をMAEの階層に正しく分解できており、可視化結果から人間中心の行動とオブジェクト関連の動きセグメント（例：冷蔵庫の開閉）の両方を正確に局在化していることが示された。
• 時間的監視を一切不要として、IDTF特徴のみを用いても競争力のある性能を達成しており、弱教師付きMAE発見の有効性を示している。
• 階層的構造により、微細な身体運動から高レベルの行動構成（例：「ねじを回す - スパicesを取る - ねじを閉じる」）まで、多スケールの推論が可能になった。