[論文レビュー] Rethinking Motion Representation: Residual Frames with 3D ConvNets for Better Action Recognition

Tao Li, Xueting Wang+1 more|arXiv (Cornell University)|Jan 16, 2020

Human Pose and Action Recognition参考文献 32被引用数 19

ひとこと要約

本稿では、静的背景と物体を除いた残差フレームを3次元畳み込みニューラルネットワーク（3D ConvNets）の入力として用いることで、行動認識のための動き特徴抽出を向上させることを提案する。標準のRGBフレームに代えて残差フレームを用いることで、学習を初期化して行う場合、UCF101とHMDB51でそれぞれ20.5%および12.5%のトップ1精度向上を達成した。また、残差に基づく動き特徴と2次元畳み込み処理を施した外観特徴を組み合わせた2パスネットワークは、高コストな光流計算を必要とせず、光流ベースのモデルを上回る性能を発揮した。

ABSTRACT

Recently, 3D convolutional networks yield good performance in action recognition. However, optical flow stream is still needed to ensure better performance, the cost of which is very high. In this paper, we propose a fast but effective way to extract motion features from videos utilizing residual frames as the input data in 3D ConvNets. By replacing traditional stacked RGB frames with residual ones, 20.5% and 12.5% points improvements over top-1 accuracy can be achieved on the UCF101 and HMDB51 datasets when trained from scratch. Because residual frames contain little information of object appearance, we further use a 2D convolutional network to extract appearance features and combine them with the results from residual frames to form a two-path solution. In three benchmark datasets, our two-path solution achieved better or comparable performances than those using additional optical flow methods, especially outperformed the state-of-the-art models on Mini-kinetics dataset. Further analysis indicates that better motion features can be extracted using residual frames with 3D ConvNets, and our residual-frame-input path is a good supplement for existing RGB-frame-input models.

研究の動機と目的

• 高価な光流計算に依存せずに、3次元畳み込みニューラルネットワークにおける動き表現を向上させること。
• 静的背景と物体の外観を除いた残差フレーム（動きの変化のみを含む）が、標準の連続RGBフレームよりも時間的ダイナミクスをより効果的に捉えられることを検証すること。
• 残差フレームからの動き特徴と単一RGBフレームからの外観特徴を組み合わせた2パスネットワークを構築し、認識性能を向上させること。
• 学習を初期化して行う場合、RGBフレームのみを入力とする3次元畳み込みニューラルネットワークに比べ、残差フレーム入力が顕著な精度向上をもたらすことを実証すること。
• 光流を用いる2ストリームモデルの計算コストを大幅に削減しつつ、同等またはそれ以上の性能を達成する計算効率の良い代替手法を提供すること。

提案手法

• 連続するRGBフレーム同士の差分をとることで残差フレームを生成し、静的背景や物体の外観を抑制し、動きの変化のみを抽出する。
• 標準のRGBフレームスタックに代えて、スタックされた残差フレームを3次元畳み込みニューラルネットワークに入力し、動き特徴を抽出する。
• 単一のRGBフレームを入力として別個の2次元畳み込みニューラルネットワークを学習させ、外観特徴を抽出する。このパスは補完的である。
• 3次元残差パスと2次元外観パスからの特徴を、後段融合により統合し、認識精度を向上させる。
• 3次元動きパスにはResNet-18をバックボーンとし、外観パスには標準の2次元畳み込みニューラルネットワークを採用することで、計算効率を確保する。
• ベンチマークデータセット上でトップ1およびトップ5精度を最適化するため、クロスエントロピー損失を用いて2パスモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 残差フレームが、3次元畳み込みニューラルネットワークにおける行動認識の文脈で、連続RGBフレームスタックよりもより効果的な入力として機能するか？
• RQ2 光流を残差フレームに置き換えることで、大幅に計算コストを削減しつつ、同等またはそれ以上の性能を達成できるか？
• RQ3 残差に基づく動き特徴とRGBに基づく外観特徴を組み合わせた2パスネットワークが、既存の2ストリームモデルを上回る性能を発揮できるか？
• RQ4 残差フレーム手法の性能は、UCF101、HMDB51、Mini-kineticsといった複雑さの異なるデータセットにおいて、どのようにスケーリングされるか？
• RQ5 グローバルな動きや微細な物体相互作用を含む複雑な行動に対して、残差フレーム手法は頑健であるか？

主な発見

• 学習を初期化して行う場合、3次元畳み込みニューラルネットワークに残差フレームを入力することで、UCF101でトップ1精度が20.5%向上し、HMDB51で12.5%向上した。
• 2パスモデルはUCF101で90.6%のトップ1精度、Mini-kineticsで73.9%のトップ1精度を達成し、光流を用いない最先端のモデルMARSやTBNを上回った。
• HMDB51では2パスモデルが55.4%のトップ1精度を達成し、最良の2ストリームモデルと同等の性能を発揮したが、光流計算を一切不要とした。
• 動きパス単体でもUCF101で87.0%のトップ1精度を達成し、RGB入力のみを用いるTSNやI3D-RGBを上回った。
• 2パスモデルはUCF101で98.6%のトップ5精度を達成し、光流を用いるオリジナルの2ストリームモデルを上回った。
• ResNet-18という浅い3次元バックボーンを用いたにもかかわらず、RGBと光流ストリームを組み合わせたMARSをも凌駕した。