[論文レビュー] Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks

Marcel Simon, Erik Rodner|arXiv (Cornell University)|Apr 30, 2015

Advanced Neural Network Applications参考文献 28被引用数 83

ひとこと要約

この論文では、部分アノテーションやバウンディングボックスを必要とせず、画像間で一貫したニューロン活性パターンの配置（コンステレーション）を特定することで、畳み込みニューラルネットワーク（CNN）内に部分モデルを非教師付きで発見する手法を提案する。CUB200-2011 や Caltech-256 といった細分類データセットで最先端の性能を達成し、微調整時のデータ拡張に用いても分類精度が向上する。

ABSTRACT

Part models of object categories are essential for challenging recognition tasks, where differences in categories are subtle and only reflected in appearances of small parts of the object. We present an approach that is able to learn part models in a completely unsupervised manner, without part annotations and even without given bounding boxes during learning. The key idea is to find constellations of neural activation patterns computed using convolutional neural networks. In our experiments, we outperform existing approaches for fine-grained recognition on the CUB200-2011, NA birds, Oxford PETS, and Oxford Flowers dataset in case no part or bounding box annotations are available and achieve state-of-the-art performance for the Stanford Dog dataset. We also show the benefits of neural constellation models as a data augmentation technique for fine-tuning. Furthermore, our paper unites the areas of generic and fine-grained classification, since our approach is suitable for both scenarios. The source code of our method is available online at http://www.inf-cv.uni-jena.de/part_discovery

研究の動機と目的

• 部分アノテーションやバウンディングボックスを一切使用せずに、完全に非教師付きで判別力のあるオブジェクト部分モデルを発見すること。
• CNNベースの部分検出器を一般化された特徴点検出器として用いることで、細分類と一般化画像分類を統合すること。
• 中間層のCNN活性の非教師付きコンステレーションモデリングから得られる部分ベース特徴を用いて、分類性能を向上させること。
• 微調整の際のデータ拡張戦略として、これらの部分モデルの有効性を実証すること。

提案手法

• 事前学習済みのCNNの中間畳み込み層の活性を、部分候補として用い、各チャネルを潜在的な部分検出器として扱う。
• 訓練画像間での活性マップの共起パターンを分析することで、空間的部分コンステレーションを推定し、一貫した相対的空間配置を同定する。
• 画像間で一貫した空間的配置で同時に活性化する部分検出器のサブセットを選択することで、生成的空間的部分モデルを学習する。
• 学習された部分モデルを用いて、弱教師あり画像分類のための部分ベース特徴を抽出する。
• 微調整の際のデータ拡張を、学習された部分モデルでガイドすることで、一般化性能と判別力の両方を向上させる。
• CUB200-2011、NA Birds、Oxford PETS、Oxford Flowers といった細分類データセットと、Caltech-256 といった一般化データセットでアプローチを評価し、教師ありおよび非教師ありのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNN特徴のみを用いて、部分アノテーションやバウンディングボックスなしで、完全に非教師付きで部分モデルを発見できるか？
• RQ2 ニューロン活性のコンステレーションは、細分類タスクにおける部分ベース画像分類の根拠としてどれほど有効か？
• RQ3 同じ非教師付き部分発見手法が、Caltech-256 のような一般化オブジェクト認識タスクにも一般化可能か？
• RQ4 微調整の際、学習された部分モデルをデータ拡張に用いることで、真値のバウンディングボックスを用いる場合と比較して分類精度が向上するか？
• RQ5 CNNベースの部分検出器は、細分類および一般化分類の両方において、効果的な一般化特徴点検出器として機能できるか？

主な発見

• 提案手法は、部分アノテーションやバウンディングボックスを一切使用せず、CUB200-2011 で 81.0% の精度を達成し、先行研究の最先端性能を上回った。
• Caltech-256 データセットでは、VGG19 特徴を用いた際、ベースライン精度を 1.6% 向上（84.10%）させ、グローバル特徴ベースラインを上回った。
• スタンフォード・ドッグスデータセットでも、部分アノテーションを必要とせず最先端性能を達成し、強力な一般化能力を示した。
• 微調整の際、学習された部分モデルをデータ拡張に用いることで、真値のバウンディングボックスを用いた場合よりもより判別力の高いCNNが得られた。これは、特徴学習が向上したことを示している。
• 本手法は、アーキテクチャ的・トレーニング的変更なしに、CUB200-2011 および Caltech-256 の両方で良好な性能を発揮したため、細分類と一般化分類を統合できた。
• 部分検出器のランダム選択ですら、グローバル特徴よりも分類精度が向上したため、本手法のコアメカニズムが堅牢で効果的であることが示された。