[論文レビュー] Actions ~ Transformations

Xiaolong Wang, Ali Farhadi+1 more|arXiv (Cornell University)|Dec 2, 2015

Human Pose and Action Recognition被引用数 15

ひとこと要約

本論文では、前行動状態（行動前状態）から後行動状態（行動後状態）への視覚的変換として行動を表現し、深層特徴空間における線形変換を学習するシアンサイト型ネットワークを用いて行動をモデル化する手法を提案する。本手法はUCF101およびHMDB51で最先端の性能を達成し、新規のACTデータセットにおいても強力なカテゴリ間一般化性能を示し、意味的検索および視覚的予測能力が向上している。

ABSTRACT

What defines an action like "kicking ball"? We argue that the true meaning of an action lies in the change or transformation an action brings to the environment. In this paper, we propose a novel representation for actions by modeling an action as a transformation which changes the state of the environment before the action happens (precondition) to the state after the action (effect). Motivated by recent advancements of video representation using deep learning, we design a Siamese network which models the action as a transformation on a high-level feature space. We show that our model gives improvements on standard action recognition datasets including UCF101 and HMDB51. More importantly, our approach is able to generalize beyond learned action categories and shows significant performance improvement on cross-category generalization on our new ACT dataset.

研究の動機と目的

• 現在の行動認識モデルが外見的特徴や運動に過剰に適合するという限界を是正するため、シーンの文脈に注目する。
• 学習済みの行動カテゴリを超えて一般化を向上させるために、行動を環境の状態変化としてモデル化する。
• 43の行動カテゴリと11,234本の動画を備えた新しいベンチマークデータセットACTを構築し、カテゴリ間転送性能を評価する。
• 前条件状態から効果状態を推論できるように学習することで、視覚的予測を可能にする。
• 行動が環境に与える影響に基づいて、より意味論的に根拠のある行動表現を提供する。

提案手法

• 行動を前条件状態（行動前）から効果状態（行動後）への変換として表現し、自然言語処理における前件と効果にインspiredする。
• 前条件状態と効果状態の深層特徴間の変換を学習するため、シアンサイト型の二重ブランチ畳み込みニューラルネットワークを用いる。
• 対照損失を用いてネットワークを訓練し、前条件特徴を効果特徴にマップする線形変換を学習するようにモデルを促進する。
• RGBフレームと光流を両方入力としてシアンサイト型の各タワーに与え、外見的特徴と運動ダイナミクスを捉える。
• 各タワーの最終全結合層から特徴を抽出し、分類または検索用に連結する。
• 前条件特徴ベクトルが与えられた場合、トレーニングセットから最も類似した効果埋め込みを検索することで視覚的予測を実行する。

実験結果

リサーチクエスチョン

• RQ1 前条件から効果への変換として行動をモデル化することで、標準ベンチマークにおける行動認識性能が向上するか？
• RQ2 提案手法の変換ベース表現は、「窓を開ける」から「車のトランクを開ける」へのような未学習の行動カテゴリに対しても一般化可能か？
• RQ3 モデルは、シーンの文脈ではなく、行動によって引き起こされる環境の変化に注目する意味的に意味のある表現を学習しているか？
• RQ4 与えられた前条件状態から、妥当な効果状態を推論することで、正確な視覚的予測が可能か？
• RQ5 標準的な外見的・運動ベースのモデルと比較して、変換ベース表現は検索および一般化性能において優れているか？

主な発見

• 提案手法はUCF101行動認識データセットで最先端の性能を達成し、従来手法を上回っている。
• HMDB51データセットでは、特に行動の変異を扱う際の性能向上が顕著に見られ、ベースライン手法を大きく上回っている。
• モデルは強力なカテゴリ間一般化性能を示している。例えば、「走り跳び」で学習したモデルがテスト段階で「高跳び」を正しく認識している。
• 最近接探索の結果、モデルは視覚的に類似しているが意味的に誤りな動画（例：這いずり回る）ではなく、意味的に関連のある動画（例：カートを押す）を検索している。
• 勾配の可視化により、モデルが変化している画像領域（例：ボールや人物）に注目しているのに対し、ベースラインモデルは全体のシーンに注目していることが明らかになった。
• 視覚的予測の結果、モデルは妥当な効果フレームを検索できている。例えば、飛び込み台の前条件から「プールに入る」状態を予測することができ、行動変換をモデル化する能力が裏付けられた。