[論文レビュー] Learning Granularity-Aware Convolutional Neural Network for Fine-Grained Visual Classification

Jianwei Song, Ruoyu Yang|arXiv (Cornell University)|Mar 4, 2021

Advanced Neural Network Applications参考文献 24被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）バックボーンの複数の段階からの特徴マップを活用して、マルチグレイン（多様なスケールの）特徴を学習する弱教師あり手法であるGranularity-Aware Convolutional Neural Network（GA-CNN）を提案する。段階別分類器とオブジェクトに注目するモジュールを用いて、段階的に判別力のある部分の局在化を改善することで、CUB-200-2011、FGVC-Aircraft、Stanford Carsの3つのベンチマークで最先端の精度を達成した。本手法はボクセルボックスや部分のアノテーションを必要としない。

ABSTRACT

Locating discriminative parts plays a key role in fine-grained visual classification due to the high similarities between different objects. Recent works based on convolutional neural networks utilize the feature maps taken from the last convolutional layer to mine discriminative regions. However, the last convolutional layer tends to focus on the whole object due to the large receptive field, which leads to a reduced ability to spot the differences. To address this issue, we propose a novel Granularity-Aware Convolutional Neural Network (GA-CNN) that progressively explores discriminative features. Specifically, GA-CNN utilizes the differences of the receptive fields at different layers to learn multi-granularity features, and it exploits larger granularity information based on the smaller granularity information found at the previous stages. To further boost the performance, we introduce an object-attentive module that can effectively localize the object given a raw image. GA-CNN does not need bounding boxes/part annotations and can be trained end-to-end. Extensive experimental results show that our approach achieves state-of-the-art performances on three benchmark datasets.

研究の動機と目的

• 従来のCNNが大きな受容 field を持つため、判別力のある部分の局在化に失敗する細粒度カテゴリにおける微細な視覚的差異を区別する課題に対処する。
• 最終畳み込み層に依存する制限を克服するため、初期層の小さな受容 field を活用して部分レベルの詳細を捉える。
• ボクセルボックスや部分レベルのアノテーションを必要としない弱教師ありアプローチを開発し、エンドツーエンドの学習を可能にする。
• 異なるネットワーク段階からのマルチグレイン特徴を段階的に統合することで特徴表現を向上させ、判別力を高める。
• アテンションマップを用いてオブジェクト領域を推定するオブジェクトに注目するモジュールを導入し、教師なしで性能をさらに向上させる。

提案手法

• ResNet-50バックボーンの複数の段階（L−S+1 から L）からの特徴マップを用い、段階が進むごとに増大する受容 field サイズに応じてマルチグレイン特徴を学習する。
• 各段階の特徴マップに 1×1 および 3×3 の畳み込みブロックを適用し、その後にグローバル top-k プーリング（GTKP）を適用して、コンactかつ判別力のある表現を抽出する。
• 各段階のプールド特徴に対して交差エントロピー損失を用いて別個の分類器を学習させ、粗いスケールから細かいスケールへの段階的学習を可能にする。
• 生画像からオブジェクトのボクセルボックスを推定するアテンションマップを生成するオブジェクトに注目するモジュールを統合し、局在化と特徴品質を向上させる。
• 全段階の分類器からの予測を重み付き平均（α=0.3）で統合し、粗いと細かいグレインの予測を融合して最終分類を行う。
• SGDを用いてエンドツーエンドでネットワーク全体を最適化し、学習率スケジューリングにコサインアニーリングと重み減衰を適用。バックボーンと新規に追加された層で初期学習率を別々に設定する。

実験結果

リサーチクエスチョン

• RQ1 異なるネットワーク段階からのマルチグレイン特徴学習が、最終畳み込み層に依存するのではなく、細粒度視覚分類の性能向上に寄与するか？
• RQ2 ボクセルボックスアノテーションが存在しない状況でも、オブジェクトに注目するモジュールがオブジェクト領域をどれほど効果的に局在化できるか？
• RQ3 粗いスケールから細かいスケールへの段階的特徴の最適化が、判別力のある表現学習をどのように向上させるか？
• RQ4 弱教師ありの細粒度視覚分類において、プーリング手法の選択（GAP、GMP、GTKP）が性能に与える影響は何か？
• RQ5 重み付き融合におけるハイパーパrameter α の変化に伴い、モデルの性能がどれほど感度を示すか？

主な発見

• ResNet-50を用いたCUB-200-2011データセットでは、90.4%という最先端の精度を達成し、より高度なバックボーンを用いた先行研究でさえも上回った。
• FGVC-Aircraftでは、同じResNet-50バックボーンを用いた手法の中で最高の性能を示し、優れた一般化能力を示した。
• アブレーションスタディの結果、オブジェクトに注目するモジュール（OAM）を追加することで、部分特徴専用分類器のみのベースライン（88.7% → 90.4%）から1.7%の精度向上が達成された。
• グローバル top-k プーリング（GTKP）はGAPおよびGMPを上回り、90.38%の精度を達成した。これは、複数の判別力のある部分を捉えることが、最大値や平均値の活性化に依存するよりも効果的であることを示している。
• ハイパーパrameter α に対してモデルは頑健であり、α の値が0.1から0.5の範囲で変化しても精度の変動は0.7%未満にとどまり、異なる融合重みでも安定した性能を示した。
• 可視化結果から、オブジェクトに注目するモジュールが効果的にオブジェクト領域を推定できており、予測されたボクセルボックスが大多数のケースで正解とよく一致していることが確認された。