[論文レビュー] Re-rank Coarse Classification with Local Region Enhanced Features for Fine-Grained Image Recognition

Shaokang Yang, Shuai Liu+2 more|arXiv (Cornell University)|Feb 19, 2021

Advanced Neural Network Applications参考文献 41被引用数 30

ひとこと要約

本論文はCCFRを提案する。粗い分類のTopNを再ランク付けするためのコース-トゥ-ファインのリトリーバルベースのフレームワークで、弱监督で学習された局所特徴と多段階のグローバル特徴損失を用い、FGVCベンチマークで最先端の結果を達成する。

ABSTRACT

Fine-grained image recognition is very challenging due to the difficulty of capturing both semantic global features and discriminative local features. Meanwhile, these two features are not easy to be integrated, which are even conflicting when used simultaneously. In this paper, a retrieval-based coarse-to-fine framework is proposed, where we re-rank the TopN classification results by using the local region enhanced embedding features to improve the Top1 accuracy (based on the observation that the correct category usually resides in TopN results). To obtain the discriminative regions for distinguishing the fine-grained images, we introduce a weakly-supervised method to train a box generating branch with only image-level labels. In addition, to learn more effective semantic global features, we design a multi-level loss over an automatically constructed hierarchical category structure. Experimental results show that our method achieves state-of-the-art performance on three benchmarks: CUB-200-2011, Stanford Cars, and FGVC Aircraft. Also, visualizations and analysis are provided for better understanding.

研究の動機と目的

• FGVCにおけるグローバルセマンティック特徴と識別可能な局所手掛かりを統合する課題を動機づけ、解決する。
• パーツ注釈なしで局所領域特徴を学習し、それをグローバル特徴と組み合わせる2branch構造のCCFRを提案する。
• FPNを用いた弱教師付き局所領域ローカライゼーションとトリプレット損失、スケール分離NMSフュージョンネットワークを活用する。
• 階層的カテゴリ構造を自動構築して多段階損失を学習し、グローバル特徴表現を改善する。
• CUB-200-2011、FGVC Aircraft、Stanford Carsで最先端性能を示し、分析とアブレーションを行う。

提案手法

• 局所領域を識別的に学習しリトリーバルデータベースを構築するトップブランチと、Top-N粗分類を取得しリトリーバル結果で再ランク付けするボトムブランチの二枝CCFRフレームワーク。
• スケール分離NMSとトリプレット損失を用いたFeature Pyramid Networkによる弱教師付き局所領域ローカライゼーションで、全体オブジェクト領域より識別的な部位を優先。
• 局所領域特徴をマルチスケールで結合し、1x1畳み込みを適用してグローバル特徴と整列する強化局所埋め込みを生成するフュージョンネットワーク。
• 特徴クラスタリングによる階層構造を自動構築し、子カテゴリと上位カテゴリにソフトマックス損失を適用し、一貫性制約を加えることでグローバル特徴を学習する多段階損失。
• クエリ埋め込みと局所強化特徴の学習データベース間のコサイン類似度を用いたリトリーバルベースの再ランキングでTop-Nのソフトマックススコアを調整し、Top-1精度を改善する。

実験結果

リサーチクエスチョン

• RQ1 リトリーバルベースの再ランキングパイプラインは、 expensiveなパーツ注釈を必要とせずに識別的な局所領域を活用してファイングレード認識を改善できるか。
• RQ2 自動構築された階層カテゴリ構造に基づく多段階損失はFGVCのグローバル特徴表現を改善するか。
• RQ3 スケール分離NMSとフュージョンネットワークは局所領域情報を効果的に統合するうえでどのような影響を与えるか。
• RQ4 再ランキングパラメータ（topN、topM、しきい値設定）はFGVCベンチマーク全体の最終Top-1精度にどのように影響するか。

主な発見

Method	Base Model	CUB Acc.(%)	Airs Acc.(%)	Cars Acc.(%)
ResNet-50	ResNet-50	84.5	-	-
Spatial-RNN	M-Net/D-Net	-	88.4	-
BCN	ResNet-50	87.7	90.3	94.3
ACNet	ResNet-50	88.1	92.4	94.6
DCL	ResNet-50	87.8	93.0	94.5
DF-GMM	ResNet-50	88.8	93.8	94.8
a-pooling	ResNet-50	86.5	-	91.6
MA-CNN	VGG-19	86.5	89.9	-
NTS	ResNet-50	87.5	91.4	93.9
API-net	ResNet-50	87.7	93.0	94.8
GCL	ResNet-50	88.3	93.2	94.0
MGE	ResNet-50	88.5	-	93.9
CS-Parts	ResNet-50	89.5	-	92.5
Inceptin-v3	Inception-v3	89.6	90.7	93.5
PMG	ResNet-50	89.6	93.4	95.1
Mix+	ResNet-50	90.2	92.0	94.9
StackedLSTM	GoogleNet	90.4	-	-
Our CCFR w/o re-ranking	ResNet-50	90.7	93.0	95.37
Our CCFR	ResNet-50	91.1	94.1	95.49

• CCFRはCUB-200-2011（91.1%）、FGVC Aircraft（94.1%）、Stanford Cars（95.49%）でResNet-50をバックボーンとした最先端Top-1精度を達成。
• トリプレット損失とスケール分離NMSによる局所領域特徴の追加は、再ランキングと組み合わせるとCUBで84.5%から90.7%、Carsで95.49%へ改善。
• 階層的多段損失はバックボーン事前学習時にTop-1精度を0.7%向上。
• スケール分離NMSは従来のNMSと比べてTop-1精度を控えめに改善（90.3% → 90.4%）。
• 局所領域特徴を結合するフュージョンネットワークは、局所特徴の単純連結よりさらなる向上をもたらし（90.7% vs 90.4%）。
• 再ランキングはトップソフトマックス確信度が明確でない場合に主に性能を向上させる；最適設定はtopn=2、T_sf≈0.75、T_sc≈0.7付近で見つかった。