[論文レビュー] Discriminative convolutional Fisher vector network for action recognition

Petar Palasek, Ioannis Patras|arXiv (Cornell University)|Jul 19, 2017

Human Pose and Action Recognition参考文献 23被引用数 7

ひとこと要約

本論文は、混合ガウスモデル（GMM）、主成分分析（PCA）、Fisherベクトル（FV）抽出を統合した学習可能なレイヤーとしての微分可能でエンドツーエンドのニューラルネットワークアーキテクチャを提案する。このアーキテクチャにより、行動認識のための判別的特徴の微調整が可能となり、UCF-101で81.84%の精度を達成した。パrameter数は2058万個にまで削減され、類似するCNNと比較して顕著に少ない。

ABSTRACT

In this work we propose a novel neural network architecture for the problem of human action recognition in videos. The proposed architecture expresses the processing steps of classical Fisher vector approaches, that is dimensionality reduction by principal component analysis (PCA) projection, Gaussian mixture model (GMM) and Fisher vector descriptor extraction, as network layers. By contrast to other methods where these steps are performed consecutively and the corresponding parameters are learned in an unsupervised manner, having them defined as a single neural network allows us to refine the whole model discriminatively in an end to end fashion. Furthermore, we show that the proposed architecture can be used as a replacement for the fully connected layers in popular convolutional networks achieving a comparable classification performance, or even significantly surpassing the performance of similar architectures while reducing the total number of trainable parameters by a factor of 5. We show that our method achieves significant improvements in comparison to the classical chain.

研究の動機と目的

• 古典的なFisherベクトル記述子には、タスク固有の監視なしに独立して学習されるという限界があることに対処すること。
• GMM学習、PCA射影、Fisherベクトル符号化の各ステップを、1つのエンドツーエンドで学習可能なニューラルネットワークに統合すること。
• 深層ネットワークにおける学習可能なパラメータ数を削減しながら、分類精度を維持または向上させること。
• より良い動画表現を得るため、空間的・時間的Fisherベクトル記述子の高密度抽出を可能にすること。

提案手法

• 本アーキテクチャは、2つの新しいレイヤーを導入する：微分可能でバックプロパゲーションで学習可能なガウス・ミックスチャネル・モデル（GMM）レイヤーとFisherベクトル（FV）記述子レイヤー。
• ネットワークは、各レイヤーを順番に教師なし事前学習（GMM、PCA、FV）した後、教師あり損失を用いたエンドツーエンドのファインチューニングにより初期化される。
• 局所的な空間的・時間的特徴は、3次元畳み込みレイヤーを用いて動画クリップから抽出され、中間段階でFV符号化が行われる。
• FVレイヤーは、Fisher情報行列を用いてGMMパラメータに関する勾配を計算し、符号化プロセスをバックプロパゲーション可能にする。
• 空間的・時間的全域にわたる高密度サンプリングをサポートしており、空間的ピラミッドプーリングや注目メカニズムとの自然な統合が可能である。
• 本モデルの上位レイヤーは、VGG-16のような標準的なCNNの全結合層に置き換え可能であり、パラメータ数を5倍に削減できる。

実験結果

リサーチクエスチョン

• RQ1 GMM、PCA、FVのFisherベクトル符号化ステップを、行動認識のための深層ニューラルネットワーク内での微分可能レイヤーとして効果的にモデル化できるか？
• RQ2 FV符号化を含むネットワーク全体をエンドツーエンドで学習することで、個々のコンponentsを教師なし事前学習するのと比較して、より優れた判別的性能が得られるか？
• RQ3 提案されたアーキテクチャは、標準的なCNNと同等またはそれ以上の精度を達成しながら、顕著に少ない学習可能なパラメータ数で実現できるか？
• RQ4 FVベースのネットワークが、VGG-16のような人気のあるCNNの全結合層を性能の低下を伴わず置き換えられる程度まで到達できるか？

主な発見

• 本手法は、VGG-16特徴を入力として使用した場合、UCF-101データセットでトップ1精度81.84%を達成した。これは、VGG-16の空間ストリーム（82.61%）を上回り、パラメータ総数は13467万個から2058万個にまで削減された。
• 標準的なVGG-16と比較して、上位レイヤーの学習パラメータ数を5倍に削減したが、性能差はわずか3.5%にとどまった。
• VGG-16の全結合層を本手法のFVベースのレイヤーに置き換えることで、パラメータ数は11996万個から587万個にまで削減され、同等の性能が達成された。
• ベースに1層の畳み込みRBMを用いた場合でも、本手法はUCF-101に直接学習させた2ストリームネットワークの空間ストリーム（52.3%）を上回る61.67%の精度を達成した。
• エンドツーエンドのファインチューニングプロセスは、教師なし事前学習のベースラインと比較して顕著に性能を向上させ、共同最適化の利点を示した。
• 本アーキテクチャは、空間的・時間的全域にわたるFV抽出を可能にし、空間的ピラミッド統合や特徴カバレッジの向上を支援する。