[論文レビュー] Low-rank Bilinear Pooling for Fine-Grained Classification

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|Nov 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 4

ひとこと要約

本稿では、Frobeniusノルムをスコア関数として用いる低ランク双一次分類器を用いて、明示的な高次元双一次特徴計算を置き換える、コンactで効率的な細分類のための低ランク双一次プーリング（LRBP）を提案する。このモデルは、部品アノテーションを必要とせず、カテゴリラベルのみを用いても、従来手法と比較して1〜2桁小さいサイズで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Pooling second-order local feature statistics to form a high-dimensional bilinear feature has been shown to achieve state-of-the-art performance on a variety of fine-grained classification tasks. To address the computational demands of high feature dimensionality, we propose to represent the covariance features as a matrix and apply a low-rank bilinear classifier. The resulting classifier can be evaluated without explicitly computing the bilinear feature map which allows for a large reduction in the compute time as well as decreasing the effective number of parameters to be learned. To further compress the model, we propose classifier co-decomposition that factorizes the collection of bilinear classifiers into a common factor and compact per-class terms. The co-decomposition idea can be deployed through two convolutional layers and trained in an end-to-end architecture. We suggest a simple yet effective initialization that avoids explicitly first training and factorizing the larger bilinear classifiers. Through extensive experiments, we show that our model achieves state-of-the-art performance on several public datasets for fine-grained classification trained with only category labels. Importantly, our final model is an order of magnitude smaller than the recently proposed compact bilinear model, and three orders smaller than the standard bilinear CNN model.

研究の動機と目的

• 細分類における標準的な双一次プーリングが生じる非常に高次元の特徴を生成するための高い計算コストとメモリ消費を軽減すること。
• 明示的な特徴マップ計算を低ランク双一次分類器に置き換えることで、モデルサイズと推論時間を削減しながら、精度を損なわないこと。
• 共分解法を導入して、各クラスの分類器を共有成分とクラス固有成分に分解することで、メモリ制約のあるデバイス上での効率的な学習とデプロイを可能にすること。
• 部品やキーポイントアノテーションの代わりに、カテゴリレベルの監視のみを用いても、最先端の性能を達成すること。

提案手法

• 双一次特徴マップを共分散行列として表現し、双一次分類器に低ランク制約を適用することで、学習可能なパラメータ数を削減する。
• 射影された特徴のFrobeniusノルムを分類スコアとして用い、全双一次特徴ベクトルを明示的に計算せずに高速な推論を可能にする。
• 共同分解法を導入し、結合分類器を共有の低ランク要因とコンパクトな各クラス用の項に分解することで、さらにモデルを圧縮する。
• エンドツーエンドで訓練可能なアーキテクチャとして、2つの畳み込み層を用いて共分解を実装し、PCAを用いて初期化することで、別個の事前学習を回避する。
• 対称的な双一次形式を活用することで、構造的情報を保持しつつ、効率的な最適化とパラメータ共有を可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全な双一次プーリングと比較して、性能に劣らないか、あるいはそれを上回りつつ、モデルサイズと推論コストを著しく削減できる低ランク双一次分類器は実現可能か？
• RQ2 スコア関数としてFrobeniusノルムを用いることで、高次元双一次特徴の明示的計算なしに効率的な推論が可能になるか？
• RQ3 分類器パラメータの共分解により、さらにモデルを圧縮しつつ、細分類の性能を維持できるか？
• RQ4 部品やキーポイントアノテーションに依存する手法と比較して、カテゴリラベルのみで学習したモデルが性能を上回れるか？

主な発見

• 提案されたLRBPモデルは、CUB-200-2011を含む複数の公開細分類ベンチマークで、部品やキーポイントアノテーションを一切使用せずに最先端の性能を達成した。
• 最終的なモデルは、コンパクトな双一次モデル[8]と比較して1〜2桁小さく、標準的な双一次CNN[20]と比較して3桁も小さい。
• 特にチャネル数が空間的解像度を上回る場合に顕著に効果を発揮し、双一次特徴の明示的計算を回避することで高速な推論が可能になった。
• 定性的な可視化結果から、明示的な空間的アテンションや部品監視がなくても、モデルが自然にハトの赤い翼や黄色い頭部といった判別性の高い部位に注目していることが示された。
• PCAによる初期化 followed でエンドツーエンドの微調整を実装することで、事前学習の必要がなく、最小限のハイパーパramータチューニングで優れた性能が得られた。