[論文レビュー] Feature Boosting, Suppression, and Diversification for Fine-Grained Visual Classification

Jianwei Song, Ruoyu Yang|arXiv (Cornell University)|Mar 4, 2021

Advanced Image and Video Retrieval Techniques参考文献 41被引用数 6

ひとこと要約

本論文は、明示的な部分の抽出と相互作用を通じて特徴学習を強化する、軽量でエンド・ツー・エンドのフレームワークを提案する。特徴強化および抑制モジュール（FBSM）を導入し、連続的に顕著な領域を強調しては抑制することで、複数の判別性の高い部分に注目させる。また、特徴多様化モジュール（FDM）を用いて、他の部分からの補完的情報を統合することで、各部分特徴表現を豊かにし、ボックスや部分ラベルのアノテーションが不要な状態で最先端の性能を達成する。

ABSTRACT

Learning feature representation from discriminative local regions plays a key role in fine-grained visual classification. Employing attention mechanisms to extract part features has become a trend. However, there are two major limitations in these methods: First, they often focus on the most salient part while neglecting other inconspicuous but distinguishable parts. Second, they treat different part features in isolation while neglecting their relationships. To handle these limitations, we propose to locate multiple different distinguishable parts and explore their relationships in an explicit way. In this pursuit, we introduce two lightweight modules that can be easily plugged into existing convolutional neural networks. On one hand, we introduce a feature boosting and suppression module that boosts the most salient part of feature maps to obtain a part-specific representation and suppresses it to force the following network to mine other potential parts. On the other hand, we introduce a feature diversification module that learns semantically complementary information from the correlated part-specific representations. Our method does not need bounding boxes/part annotations and can be trained end-to-end. Extensive experimental results show that our method achieves state-of-the-art performances on several benchmark fine-grained datasets. Source code is available at https://github.com/chaomaer/FBSD.

研究の動機と目的

• 注目ベースの手法が最も顕著な部分に過剰に注目し、微細な差別的特徴を持つ部分を無視するという限界を解消すること。
• 部分特徴の分離を解消し、それらの意味的関係を明示的にモデル化すること。
• ボックスや部分レベルのアノテーションを必要としない、軽量でエンド・ツー・エンドで学習可能なフレームワークを開発すること。
• 明示的な強化、抑制、多様化メカニズムを通じて、特徴表現の多様性と判別性を向上させること。

提案手法

• 特徴強化および抑制モジュール（FBSM）は、特徴マップ内の最も顕著な領域を強化して部分特徴表現を生成し、その後にそれを抑制することで、後続層が他の潜在的部分を発見するように誘導する。
• FBSMは、ResNetなどのCNNの複数の段階に挿入され、異なる層で複数の明確な部分特徴を生成する。
• 特徴多様化モジュール（FDM）は、他の部分からの意味的に補完的な特徴を集約することで、各部分特徴表現を豊かにし、判別性を向上させる。
• FDMは追加の可学習パラメータを必要とせず、部分間の特徴集約によって特徴の豊かさを向上させる。
• フレームワークは画像ラベルのみの監視でエンド・ツー・エンドに学習され、複雑なデータサンプリングやマルチクロップ戦略を回避する。
• 本手法はプラグアンドプレイであり、ResNetなどの既存のCNNと互換性があり、アーキテクチャの再設計を必要としない。

Figure 1: Illustration of large intra-class and small inter-class variations in FGVC. The images with large variations in each row belong to the same class. However, the images with small variations in each column belong to different classes. This situation is opposite to generic visual classificati

実験結果

リサーチクエスチョン

• RQ1 中間層における顕著な特徴の明示的強化および抑制が、微細な画像における複数の判別性のある部分をネットワークが効果的に発見できるか。
• RQ2 追加パラメータなしに、特徴多様化による部分間関係のモデル化が分類精度をどのように向上させるか。
• RQ3 軽量でエンド・ツー・エンドで学習可能なモジュールが、標準的な微細分類ベンチマークで既存の弱教師あり手法をどの程度上回るか。
• RQ4 部分アノテーションやボックスの欠如が性能に悪影響を及ぼすか、それでもSOTA結果を達成できるか。

主な発見

• バックボーンにResNet50を用いた場合、CUB-200-2011でトップ-1精度89.3%を達成し、API-Net や Cross-X を含む既存のSOTA手法を上回る。
• FGVC-Aircraftでは92.7%の精度を達成し、MAMC、NTS、MEG-CNN、DTB-Net、CIN、FDLを上回り、DCL や LIO に近い性能を示す。
• Stanford Carsでは94.4%の精度を達成し、FDLを著しく上回り、データセット間での強力な一般化性能を示す。
• Stanford Dogsでは88.2%の精度を達成し、RA-CNN、MAMC、FDLを上回り、高い計算複雑性にもかかわらずスケーラビリティを示す。
• アブレーションスタディの結果、FBSMは全データセットで+3.4%〜+6.4%の精度向上を寄与し、FDMはパラメータ数を増やさずに+0.4%〜+0.7%の向上をもたらす。
• 可視化結果から、FBSMが顕著な部分（例：鳥の羽）から注目を他の部分（例：頭部、尾部）に効果的にシフトさせることを確認でき、FDMは複数の関連領域をカバーするように特徴マップを強化することがわかった。

Figure 2: The overview of our method.