[論文レビュー] Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition

Yaming Wang, Vlad I. Morariu+1 more|arXiv (Cornell University)|Nov 29, 2016

Advanced Neural Network Applications参考文献 37被引用数 9

ひとこと要約

本論文は、部位やバウンディングボックスのアノテーションが不要なクラス固有の微細なパッチを検出できる判別的フィルタバンクを学習するエンドツーエンドのCNNフレームワークを提案する。1×1畳み込みフィルタをパッチ検出器として用いる新しい非対称マルチストリームアーキテクチャ、フィルタの監督、クラスタベースの非ランダム初期化を組み合わせることで、中レベル表現学習を強化し、CUB-200-2011、Stanford Cars、FGVC-Aircraftで最先端の性能を達成する。

ABSTRACT

Compared to earlier multistage frameworks using CNN features, recent end-to-end deep approaches for fine-grained recognition essentially enhance the mid-level learning capability of CNNs. Previous approaches achieve this by introducing an auxiliary network to infuse localization information into the main classification network, or a sophisticated feature encoding method to capture higher order feature statistics. We show that mid-level representation learning can be enhanced within the CNN framework, by learning a bank of convolutional filters that capture class-specific discriminative patches without extra part or bounding box annotations. Such a filter bank is well structured, properly initialized and discriminatively learned through a novel asymmetric multi-stream architecture with convolutional filter supervision and a non-random layer initialization. Experimental results show that our approach achieves state-of-the-art on three publicly available fine-grained recognition datasets (CUB-200-2011, Stanford Cars and FGVC-Aircraft). Ablation studies and visualizations are provided to understand our approach.

研究の動機と目的

• 微細認識のためのCNNが判別的中レベル表現を学習するという限界に対処する。
• 共有された部位検出器を避けることで、既存の2ストリームネットワークにおける局所化と分類のトレードオフを克服する。
• 判別的パッチ検出にバウンディングボックスや部位アノテーションを必要としないエンドツーエンド学習を可能にする。
• 構造的でクラス固有のフィルタ学習により、剛体的・非剛体的視覚ドメイン間で性能の一貫性を向上させる。
• 人間の認識と一致するように学習された判別的パッチを可視化することで、モデルの解釈性を向上させる。

提案手法

• 各1×1畳み込みフィルタを特徴マップ上で作用する判別的パッチ検出器として扱う。
• グローバルな外観特徴と1×1フィルタからのパッチレベル応答を統合する非対称マルチストリームアーキテクチャを設計する。
• バックプロパゲーションを用いて、クラス固有のパッチに強く反応するようにフィルタを訓練することで、畳み込みフィルタの監督を適用する。
• 特徴マップ活性化からのクラスタ中心を非ランダム初期化に用い、フィルタバンクの多様性と判別能力を促進する。
• 1×1フィルタの応答に対してグローバルマックスプーリング（GMP）を適用し、各クラスごとにコンactで判別的な表現を生成する。
• 最終層からのバックプロパゲーションにより、特徴マップのエネルギー分布を refined し、一般パターン（例：車輪、背景）からクラス判別的領域（例：テールランプ、くちばし）へと注目をシフトさせる。

実験結果

リサーチクエスチョン

• RQ1 部位やバウンディングボックスのアノテーションがなくても、CNNは高品質なクラス固有の判別的パッチを学習できるか？
• RQ2 フィルタ監督と非ランダム初期化を組み合わせることで、微細認識における中レベル表現学習が向上するか？
• RQ3 非対称マルチストリームアーキテクチャは、グローバル外観情報とローカルパッチレベル情報のバランスを効果的にとらえることができるか？
• RQ4 学習されたフィルタバンクは、視覚的変動の程度が異なる多様な微細認識データセットにおいて、どのように性能を向上させるか？
• RQ5 可視化されたフィルタは人間がアノテートした判別的領域とどの程度一致するか、またどれほど解釈可能か？

主な発見

• 提案手法は、CUB-200-2011、Stanford Cars、FGVC-Aircraftの3つのベンチマークデータセットで最先端の精度を達成した。
• 可視化結果から、学習されたフィルタは、鳥の羽の模様、車のテールランプ、くちばしの形状といった判別的領域を正確に検出しており、人間の認識とよく一致している。
• 訓練後、特徴マップのエネルギー分布が判別的領域に集中し、車輪や背景といった一般パターンの活性化が低減した。
• 特徴プールド出力のピークレスポンスから、類似クラス（例：Audi A4 と A6）間の微細な差をネットワークが効果的に局所化していることが示された。
• アブレーションスタディにより、フィルタ監督と非ランダム初期化が性能向上とフィルタの多様性向上に顕著に寄与することが確認された。
• 最終層からのバックプロパゲーションにより、初期の特徴マップが refined され、非判別的領域からクラス固有のパッチへとエネルギーがシフトするようになり、階層的な改善が実証された。