[論文レビュー] UC Merced Submission to the ActivityNet Challenge 2016

Yi Zhu, Shawn Newsam+1 more|arXiv (Cornell University)|Apr 11, 2017

Human Pose and Action Recognition参考文献 15被引用数 7

ひとこと要約

本論文は、ActivityNet Challenge 2016における非トリムド動画の行動認識のためのラテント融合マルチストリームフレームワークを提示する。手作業で作成したMBH特徴量と、VGG16、GoogLeNet、C3D、ResNet-101からの深層ネットワーク活性化を組み合わせたものである。重み付き平均化と反復的再ランク付けを用いたモデル統合により、検証セットで75.14%のトップ-1正解率、テストセットで78.44%のトップ-1正解率を達成した。これにより、補完的な低レベルの動き特徴量と深層学習による表現が、性能向上に顕著に寄与することが示された。

ABSTRACT

This notebook paper describes our system for the untrimmed classification task in the ActivityNet challenge 2016. We investigate multiple state-of-the-art approaches for action recognition in long, untrimmed videos. We exploit hand-crafted motion boundary histogram features as well feature activations from deep networks such as VGG16, GoogLeNet, and C3D. These features are separately fed to linear, one-versus-rest support vector machine classifiers to produce confidence scores for each action class. These predictions are then fused along with the softmax scores of the recent ultra-deep ResNet-101 using weighted averaging.

研究の動機と目的

• 非トリムド長時間動画向けの堅牢な行動認識システムの開発。
• 複数アーキテクチャからの深層学習ベース特徴量と、手作業で作成した動き境界ヒストグラム（MBH）特徴量を組み合わせることの有効性の調査。
• 多様な特徴ストリームと反復的再ランク付けによるラテント統合を通じた認識正解率の向上。
• 特徴抽出のためのアクションプロポーザルと均等フレームサンプリングの比較評価。
• 超高深度残差ネットワーク（ResNet-101）の優位性と、MBH特徴量と深層特徴量の補完性の実証。

提案手法

• 本システムは、フィッシャー特徴量符号化済みMBH特徴量、C3Dのfc7特徴量、GoogLeNetのpool5特徴量、VGG16のpool5特徴量、ResNet-101のソフトマックススコアの5つのコンponentを統合するマルチストリームフレームワークを採用している。
• MBH特徴量は事前に計算された動き境界から抽出され、フィッシャー特徴量符号化を経て、C=100のSVM分類器を用いて分類される。
• C3D特徴量は16フレームのクリップから抽出され、50%の重複を伴い、次にPCAを用いて500次元に次元削減され、クリップ間で平均化された後、C=1のSVM分類器を用いて分類される。
• GoogLeNetおよびVGG16特徴量はフレーム単位で抽出され、動画全体で平均プーリングされ、正規化される。VGG16特徴量はさらにLCDおよびVLADを用いて符号化され、PCAによる次元削減が施される。
• ResNet-101特徴量はデータセット上で微調整され、抽出特徴量ではなく、そのソフトマックススコアが統合に直接使用される。抽出特徴量を用いた場合、性能が劣ったためである。
• ラテント統合では、より正確なモデルに2倍の重みを割り当てた重み付き平均化によりモデル出力を統合し、その後、ハードな例に対する予測を改善するためのマルチクラス反復的再ランク付け（MIR）が適用される。

実験結果

リサーチクエスチョン

• RQ1 非トリムド動画の行動認識において、手作業で作成した動き境界ヒストグラム（MBH）特徴量は、深層学習ベースの特徴量と比べてどのように差が現れるか？
• RQ2 複数の深層ネットワークストリームとMBH特徴量をラテント統合することで、個々のモデルを上回る認識正解率が達成可能か？
• RQ3 特徴抽出のためのフレームサンプリングにアクションプロポーザルを用いる場合、均等サンプリングに比べて性能が向上するか？
• RQ4 浅いネットワークと比較して、ResNet-101アーキテクチャは長時間非トリムド動画の行動認識においてどの程度有効か？
• RQ5 MBH特徴量は、深層ネットワーク特徴量と比べて、空間的・時間的情報を捉える上でどの程度補完的か？

主な発見

• ResNet-101モデルは検証セットで71.81%のトップ-1正解率を記録し、他のモデルと比べて顕著に優れていた。
• 5つのモジュールをラテント統合することで、検証セットで75.14%のトップ-1正解率を達成し、マルチストリーム統合の有効性が裏付けられた。
• MBH特徴量を組み込むことで、性能が向上した。これは、MBH特徴量が個別に最も悪い性能であったにもかかわらず、深層特徴量と強い補完性を示していることを示している。
• 深層ネットワーク特徴量（例：VGG16、GoogLeNet、C3D）のみを統合した場合、MBH特徴量を加えた場合に比べて性能が低かった。これは、MBH特徴量が独自の貢献を果たしていることを強力に示唆している。
• アクションプロポーザルを用いたフレームサンプリングは、均等サンプリングに比べて性能を低下させた。これは、均等サンプリングの方が動画の代表的な内容をよりよく捉えていることを示している。
• 最終提出（Run 5）は、テストセットで83.1%のmAPと78.44%のトップ-1正解率を達成し、ActivityNet Challenge 2016で上位入賞の一つとなった。