[論文レビュー] Deep Quantization: Encoding Convolutional Activations with Deep Generative Model

Zhaofan Qiu, Ting Yao+1 more|arXiv (Cornell University)|Nov 29, 2016

Human Pose and Action Recognition参考文献 40被引用数 7

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）の活性化を量子化するために、フィッシャー・ベクトル符号化と変分オートエンコーダー（VAE）を統合した、FV-VAEと呼ばれる新規なエンドツーエンドの深層アーキテクチャを提案する。VAEを変分推論と学習を実行するように訓練することで、FV-VAEは柔軟でデータ適応的な表現学習を可能にし、従来のGMMベースのFVを上回り、動画行動認識のUCF101データセットで94.2%という最先端の正確度を達成した。

ABSTRACT

Deep convolutional neural networks (CNNs) have proven highly effective for visual recognition, where learning a universal representation from activations of convolutional layer plays a fundamental problem. In this paper, we present Fisher Vector encoding with Variational Auto-Encoder (FV-VAE), a novel deep architecture that quantizes the local activations of convolutional layer in a deep generative model, by training them in an end-to-end manner. To incorporate FV encoding strategy into deep generative models, we introduce Variational Auto-Encoder model, which steers a variational inference and learning in a neural network which can be straightforwardly optimized using standard stochastic gradient method. Different from the FV characterized by conventional generative models (e.g., Gaussian Mixture Model) which parsimoniously fit a discrete mixture model to data distribution, the proposed FV-VAE is more flexible to represent the natural property of data for better generalization. Extensive experiments are conducted on three public datasets, i.e., UCF101, ActivityNet, and CUB-200-2011 in the context of video action recognition and fine-grained image classification, respectively. Superior results are reported when compared to state-of-the-art representations. Most remarkably, our proposed FV-VAE achieves to-date the best published accuracy of 94.2% on UCF101.

研究の動機と目的

• 従来の手法における抽出された畳み込み記述子と別個の量子化ステップとの間の最適でない適合性を解消すること。
• フィッシャー・ベクトル符号化におけるガウス・ミックスチャネル・モデル（GMM）の制限、例えば不柔軟なガウス仮定や複雑なデータクラスタへの一般化性の欠如を克服すること。
• 深層生成モデリングを用いて特徴抽出と量子化を同時に最適化するエンドツーエンドで訓練可能なフレームワークを開発すること。
• FV-VAEアーキテクチャに分類損失を組み込むことで、訓練中に意味的情報を保持すること。
• VAEフレームワーク内での再構成損失勾配を通じたバックプロパゲーションによるフィッシャー・ベクトル表現の直接計算を可能にすること。

提案手法

• 2段階の深層アーキテクチャを提案：特徴抽出のためのCNNバックボーンに続く、フィッシャー・ベクトル符号化のための変分オートエンコーダー（VAE）。
• 認識ネットワークを用いて潜在変数上の事後分布をモデル化することで、フィッシャー・ベクトル符号化をVAEに統合し、確率的勾配降下法によるエンドツーエンド訓練を可能にする。
• 再構成損失の潜在コードに関する勾配をフィッシャー・ベクトル表現として使用することで、微分可能かつ効率的なFV計算を実現する。
• 再構成損失（VAE）と交差エントロピー分類損失の組み合わせによる統合損失を用いて、モデル全体をエンドツーエンドで訓練する。
• VAEの階層的構造を活用し、従来のGMMベースのFVよりも、複雑で非ガウス的なデータ分布をより柔軟にモデル化する。
• FV成分の絶対値を統合することで、認識に関連する顕著な領域やフレームを強調する空間的および時間的注意可視化を実装する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー・ベクトル符号化は、変分オートエンコーダーのような深層生成モデルに効果的に統合可能か？
• RQ2 従来のGMMに代えて、深層VAEベースの生成モデルを採用することで、視覚認識タスクにおける一般化性と性能が向上するか？
• RQ3 フィッシャー・ベクトル表現は、VAEフレームワーク内でバックプロパゲーションを通じて直接計算可能か？これによりエンドツーエンド訓練が可能になるか？
• RQ4 提案されたFV-VAEモデルは、動画行動認識および細分化画像分類において、最先端の手法と比較してどのように性能を発揮するか？
• RQ5 FV-VAEモデルは、注意可視化によって、どの程度意味的に関連する領域や時間的フレームを効果的に特定できるか？

主な発見

• FV-VAEは、動画行動認識のUCF101データセットで94.2%という新たな最先端の正確度を達成し、先行研究を上回った。
• 本モデルは、動画行動認識（UCF101、ActivityNet）および細分化画像分類（CUB-200-2011）の両方で優れた性能を示し、広範な汎用性を示した。
• 特徴可視化により、FV-VAEが、鳥の嘴、首、羽といった判別的部位に注目した空間的注意を学習していることが明らかになった。また、動画ではジェットボートやナイフ研ぎ機械といった重要な対象にも注目している。
• 時間的注意マップでは、顕著な行動（例：ジェットボートを運転する、ナイフを研ぐ）を含むフレームで高いスコアが得られ、モデルが重要な時間的イベントを正しく局所化できていることを確認した。
• 再構成損失の勾配として計算されるFV表現は、理論的にも的確であり、下流の認識タスクにおいて実用的に効果的であることが示された。
• VAEベースの生成モデルはGMMよりも柔軟性に優れており、畳み込み記述子の自然なクラスタリングと分布をよりよく捉えている。