[論文レビュー] Progressive Co-Attention Network for Fine-grained Visual Classification

Tian Zhang, Dongliang Chang+2 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、細分類画像認識のための新規手法であるプログレッシブ共同注目ネットワーク（PCA-Net）を提案する。この手法は、同一カテゴリの画像ペairを用いて特徴抽出を強化する。共同注目モジュールを用いて画像ペア間のチャネルワイドな相互作用をモデル化し、注目除去モジュールを適用することで補完的特徴を同定する。PCA-Netは最先端の性能を達成し、CUB-200-2011で88.9%のトップ1正答率、Stanford Carsで94.6%、FGVC Aircraftで92.8%を記録した。

ABSTRACT

Fine-grained visual classification aims to recognize images belonging to multiple sub-categories within a same category. It is a challenging task due to the inherently subtle variations among highly-confused categories. Most existing methods only take an individual image as input, which may limit the ability of models to recognize contrastive clues from different images. In this paper, we propose an effective method called progressive co-attention network (PCA-Net) to tackle this problem. Specifically, we calculate the channel-wise similarity by encouraging interaction between the feature channels within same-category image pairs to capture the common discriminative features. Considering that complementary information is also crucial for recognition, we erase the prominent areas enhanced by the channel interaction to force the network to focus on other discriminative regions. The proposed model has achieved competitive results on three fine-grained visual classification benchmark datasets: CUB-200-2011, Stanford Cars, and FGVC Aircraft.

研究の動機と目的

• 微細分類画像認識の課題に対処すること。これは、類似クラス内での微細な変化と、類似クラス間の小さな差異が認識を困難にするためである。
• 従来の手法が単一の画像しか処理しないという制限を克服すること。これにより、画像間の対比的ヒントを活用する能力が制限されている。
• 同一カテゴリの画像ペア間で共通の特徴と補完的特徴の両方をモデル化することで、特徴抽出を向上させること。
• 複雑なアーキテクチャを用いずに、顕著で微細な領域に注目を効果的に分散させる、軽量でエンドツーエンドのフレームワークを開発すること。

提案手法

• 共同注目モジュール（CA-Module）は、フラット化された特徴マップを用いた二重積演算により、同一カテゴリの画像ペアの特徴マップ間のチャネルワイドな類似度を計算し、共通の判別的特徴を強調する重み行列を生成する。
• 注目除去モジュール（AE-Module）は、CA-Moduleが特定した顕著な注目領域を抑制することで、ネットワークが代替の補完的判別的領域に注目するよう強制する。
• CA-ModuleとAE-Moduleは段階的に適用される：まず共通の特徴を強調し、次にそれらを除去することで、隠れた微細な特徴を明らかにする。
• モデルはバックボーンにResNet-50を用い、特徴の凝縮性と判別性を向上させるためにセンター損失を組み込む。
• 学習時にはランダムクロッピングと水平反転を用いたデータ拡張を実施するが、推論時には中央クロッピングのみを適用する。
• 最適化にはSGDを用い、初期基準学習率を0.01として180エポックにわたり学習を実施し、2エポックごとに0.9に減衰させ、バッチサイズは32とする。

Figure 1: The motivation of the proposed method. Most previous methods only took an individual image as input, and the relationship between images was not explored. In our work, we input a pair of same-category images and model the channel interaction between them to capture their common features.

実験結果

リサーチクエスチョン

• RQ1 同一カテゴリの画像ペア間のチャネルワイドな相互作用をモデル化することで、微細分類のための特徴抽出が向上するか？
• RQ2 最も活性化された注目領域を抑制することで、ネットワークが補完的で微細な特徴を発見できるか？
• RQ3 プログレッシブ共同注目メカニズムは、単一画像ベースラインと比較して、正答率と頑健性の面で優れているか？
• RQ4 CA-ModuleとAE-Moduleは、個別および併用した場合に、モデル性能にどの程度寄与しているか？

主な発見

• PCA-NetはCUB-200-2011データセットで88.9%のトップ1正答率を達成し、API-Net（88.6%）を上回り、最先端の手法と同等の性能を示した。
• Stanford Carsデータセットでは94.6%のトップ1正答率を達成し、剛体的で変動が小さい物体に対しても優れた性能を示した。
• FGVC Aircraftデータセットでは92.8%のトップ1正答率を達成し、多様な微細分類カテゴリにわたる一般化能力の高さを示した。
• アブレーションスタディの結果、CA-Module、AE-Module、センター損失を併用した場合に88.3%の正答率を記録し、全設定の中で最高の性能を示し、各モジュールの相乗効果を確認した。
• Grad-CAMの可視化結果から、PCA-Netはリーマン-50が唯一の顕著な領域（例：くちばし）に注目するのに対し、複数の判別的領域（例：羽、つめ、くちばし）に注目していることが確認された。
• アブレーションスタディの結果、CA-Module単体で正答率は86.8%に向上、AE-Module単体では86.5%に向上し、センター損失を併用したCA-ModuleとAE-Moduleの組み合わせが、88.3%という最高の結果を達成した。

Figure 2: The framework of the progressive co-attention network (PCA-Net). The CA-Module can model the channel-wise interaction within a pair of same-category images to focus on the prominent areas with common characteristics. The AE-Module can erase the images to distract attention to other areas t