[論文レビュー] ActionFlowNet: Learning Motion Representation for Action Recognition

Joe Yue-Hei Ng, Jonghyun Choi+2 more|arXiv (Cornell University)|Dec 9, 2016

Human Pose and Action Recognition参考文献 27被引用数 9

ひとこと要約

ActionFlowNet は、外部の事前学習や光流画像入力を用いずに、rawな動画ピクセルから直接行動認識と光流推定を同時に学習するマルチタスク学習フレームワークを提案する。この手法により、自己教師ありの最先端手法よりも行動認識の精度が23.6%向上した。限定的なラベル付きデータのみを用いても、ImageNetで事前学習されたモデルと同等の性能を達成している。

ABSTRACT

Even with the recent advances in convolutional neural networks (CNN) in various visual recognition tasks, the state-of-the-art action recognition system still relies on hand crafted motion feature such as optical flow to achieve the best performance. We propose a multitask learning model ActionFlowNet to train a single stream network directly from raw pixels to jointly estimate optical flow while recognizing actions with convolutional neural networks, capturing both appearance and motion in a single model. We additionally provide insights to how the quality of the learned optical flow affects the action recognition. Our model significantly improves action recognition accuracy by a large margin 31% compared to state-of-the-art CNN-based action recognition models trained without external large scale data and additional optical flow input. Without pretraining on large external labeled datasets, our model, by well exploiting the motion information, achieves competitive recognition accuracy to the models trained with large labeled datasets such as ImageNet and Sport-1M.

研究の動機と目的

• 行動認識におけるラベル付き動画データの限界を克服し、最小限の教師付き情報で有効な動画表現を学習すること。
• 大規模なデータセットを用いても運動特徴を効果的に学習できない分類のみの学習の限界を乗り越えること。
• 1つのエンドツーエンドのネットワーク内で運動と外見の表現を同時に学習することで、手作業で作成した光流入力を排除すること。
• 光流推定とマルチタスク学習を組み合わせて学習した運動表現が、限られたラベル付きデータでも行動認識の精度を顕著に向上させることを示すこと。

提案手法

• rawな動画フレームから光流と行動認識を同時に推定する単一ストリームの3次元畳み込みニューラルネットワーク（ActionFlowNet）を提案する。
• 2つの損失関数（交差エントロピーによる分類損失とL2損失による光流推定損失）を用いたマルチタスク学習によりネットワークを訓練する。
• 3次元畳み込みを用いたResNetベースのアーキテクチャを統合し、空間時間的特徴をモデル化。2つのタスク間で特徴を共有する。
• エンドツーエンドでrawピクセル上で訓練し、行動ラベルのみを教師信号として用いる一方で、光流推定を補助タスクとして運動表現の学習をガイドする。
• 流の品質が認識性能に与える影響を評価するため、異なるデータセット（FlyingChairs 対 UCF101）に別々の流ヘッドを訓練し、一般化性能を分析する。
• スタックドアーキテクチャを用い、流ストリームは固定し分類ヘッドのみを微調整することで、流の品質が認識性能に与える影響を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 rawなピクセルから光流と行動認識を同時に学習することで、外部の事前学習を用いずに行動認識性能を向上させることができるか？
• RQ2 学習された光流の品質が、標準ベンチマークで測定されるEPE（終点誤差）に基づいて、下流の行動認識精度にどのように影響するか？
• RQ3 小規模な動きのデータセット（例：UCF101）で流ネットワークを学習しても、大規模な動きのデータセット（例：FlyingChairs）で学習した場合より、行動認識性能が向上するのか？（EPEが高めであっても）
• RQ4 rawピクセルからエンドツーエンドで運動表現を学習する手法が、手作業で作成した光流や事前学習済み特徴に依存するモデルをどれほど上回るのか？

主な発見

• ActionFlowNet は、外部データや光流入力を使用しない自己教師ありの最先端の表現学習手法よりも、行動認識精度を23.6%向上させた。
• 事前学習なしでUCF101で69.6%のトップ1精度を達成し、Sports-1Mで微調整されたC3Dよりも1.6%高い性能を示した。
• EPEが11.84（UCF101で学習）対9.12（FlyingChairsで学習）と高いにもかかわらず、UCF101で学習したモデルは51.7%の認識精度を示し、FlyingChairsで学習したモデル（69.6%）よりも顕著に低い認識性能を示した。これは、EPEのような流の品質指標が常に認識性能と相関しないことを示唆している。
• 運動のパターンが単純で特徴的である「WallPushups」や「ApplyEyeMakeup」のような運動中心の行動に対して、モデルは最も高い性能を示した。
• 高品質な光流（例：EpicFlow、EPE=6.29）を用いても、モデルの認識精度（77.7%）は、光流を直接学習対象としたモデルには及ばない。これは、エンドツーエンドで学習された流表現の品質に限界があることを示している。
• 定性的な分析から、FlyingChairsで学習したモデルは、小さな動きを正確に推定できず、背景領域にアーチファクトを生じさせ、EPEが低くても認識性能に悪影響を与えることがわかった。