[論文レビュー] Bilinear CNN Models for Fine-grained Visual Recognition

Tsung‐Yu Lin, Aruni RoyChowdhury+1 more|arXiv (Cornell University)|Apr 29, 2015

Advanced Neural Network Applications被引用数 119

ひとこと要約

この論文では、2つのCNN特徴マップの外積プーリングにより局所的なペairワイズ特徴相互作用を捉える双線形CNNモデルを提案する。これにより、並進不変な細粒度視覚認識が可能になる。本手法は、カテゴリラベルのみとエンド・トゥ・エンド学習を用いてCUB-200-2011で84.1%の精度を達成し、従来手法を上回るが、8 FPSの高速な計算効率を備えたシンプルな構造である。

ABSTRACT

We propose bilinear models, a recognition architecture that consists of two feature extractors whose outputs are multiplied using outer product at each location of the image and pooled to obtain an image descriptor. This architecture can model local pairwise feature interactions in a translationally invariant manner which is particularly useful for fine-grained categorization. It also generalizes various orderless texture descriptors such as the Fisher vector, VLAD and O2P. We present experiments with bilinear models where the feature extractors are based on convolutional neural networks. The bilinear form simplifies gradient computation and allows end-to-end training of both networks using image labels only. Using networks initialized from the ImageNet dataset followed by domain specific fine-tuning we obtain 84.1% accuracy of the CUB-200-2011 dataset requiring only category labels at training time. We present experiments and visualizations that analyze the effects of fine-tuning and the choice two networks on the speed and accuracy of the models. Results show that the architecture compares favorably to the existing state of the art on a number of fine-grained datasets while being substantially simpler and easier to train. Moreover, our most accurate model is fairly efficient running at 8 frames/sec on a NVIDIA Tesla K40 GPU. The source code for the complete system will be made available at this http URL

研究の動機と目的

• 局所的なペアワイズ特徴相互作用を並進不変な方法でモデル化することで、細粒度視覚認識の課題に取り組む。
• Fisherベクトル、VLAD、O2Pといった従来の順序に依存しないテクスチャ記述子を、ディープラーニングフレームワーク内で一般化する。
• 2つのCNNを用いた双線形プーリングにより、細粒度分類のトレーニングを簡素化し、性能を向上させる。
• 複雑な監視を減らし、カテゴリレベルのラベルのみを用いてエンド・トゥ・エンド学習を可能にする。
• 実時間デプロイメントに適した計算効率の高いアーキテクチャで、最先端の精度を達成する。

提案手法

• モデルは、同じ画像入力から特徴マップを生成する2つのCNN特徴抽出器を用いる。
• 各空間的位置において、2つのネットワークの出力を外積により結合し、高次元テンソルを形成する。
• 得られたテンソルは平均プーリングにより空間的にプールされ、固定長の画像記述子が得られる。
• 双線形形式により、両方のネットワークを通過する逆誤差伝搬が効率的に計算可能になる。
• モデルはImageNetから初期化され、カテゴリラベルのみを用いてドメイン固有のデータセットで微調整される。
• 判別的な特徴相互作用を学習することで、FisherベクトルやVLADといった順序に依存しない記述子を一般化する。

実験結果

リサーチクエスチョン

• RQ1 2つのCNN特徴の双線形プーリングは、標準的なCNNと比較して、細粒度視覚認識の精度を向上させるか？
• RQ2 2つの異なるネットワークアーキテクチャの選択が、双線形モデルの性能と効率に与える影響はいかほどか？
• RQ3 カテゴリラベルのみを用いた場合、ドメイン固有の微調整が性能にどの程度向上をもたらすか？
• RQ4 双線形モデルは、VLAD や O2P といった従来の順序に依存しない符号化手法を、ディープラーニングフレームワーク内で一般化できるか？
• RQ5 推論速度とGPU利用効率の観点から、双線形モデルの計算効率はどの程度か？

主な発見

• 双線形モデルは、カテゴリラベルのみを用いてCUB-200-2011の細粒度分類ベンチマークで84.1%のトップ1精度を達成した。
• 本モデルは、複数の細粒度データセットで既存の最先端手法を上回り、かつよりシンプルで学習が容易である。
• 最も精度の高いモデルは、1枚のNVIDIA Tesla K40 GPUで8フレーム/秒の速度で動作し、優れた推論効率を示している。
• 微調整は性能を顕著に向上させ、特にImageNetで事前学習されたモデルを初期化に用いる場合に顕著である。
• 2つの異なるネットワークの選択は、精度と速度の両方に影響を与え、アブレーションスタディでトレードオフが観察された。
• 双線形アーキテクチャは、Fisherベクトル や VLAD といった従来の順序に依存しない記述子を、ディープラーニングフレームワーク内で効果的に一般化している。