[論文レビュー] Fine-Grained Visual Classification with Efficient End-to-end Localization

Harald Hanselmann, Hermann Ney|arXiv (Cornell University)|May 11, 2020

Advanced Neural Network Applications参考文献 13被引用数 6

ひとこと要約

本論文は、微細な視覚的分類（FGVC）のための効率的でエンド・ツー・エンドで学習可能な局所化モジュールを提案する。このモジュールは、軽量な注目ベースネットワーク（AttNet）とアフィン変換ネットワーク（AffNet）を用いて、判別的な画像領域を局所化する。勾配の逆伝播と2つの自己教師付き損失関数を組み合わせることで、1回の順伝播のみでCUB200-2011、Stanford Cars、FGVC-Aircraftで最先端の精度を達成し、従来の手法よりも精度と学習効率の両面で優れている。

ABSTRACT

The term fine-grained visual classification (FGVC) refers to classification tasks where the classes are very similar and the classification model needs to be able to find subtle differences to make the correct prediction. State-of-the-art approaches often include a localization step designed to help a classification network by localizing the relevant parts of the input images. However, this usually requires multiple iterations or passes through a full classification network or complex training schedules. In this work we present an efficient localization module that can be fused with a classification network in an end-to-end setup. On the one hand the module is trained by the gradient flowing back from the classification network. On the other hand, two self-supervised loss functions are introduced to increase the localization accuracy. We evaluate the new model on the three benchmark datasets CUB200-2011, Stanford Cars and FGVC-Aircraft and are able to achieve competitive recognition performance.

研究の動機と目的

• 微細な視覚的分類（FGVC）における既存の局所化手法が複数回のネットワークパスや複雑な学習スケジュールを必要としている非効率性を解消すること。
• 推論コストを増加させずに分類バックボーンとシームレスに統合できる軽量でエンド・ツー・エンドで学習可能な局所化モジュールの開発。
• 特徴マップの統計から導出される自己教師付き損失関数を通じて、勾配のみに依存する監視に依存せず、局所化精度の向上。
• 画像ラベルのみを用いて1回の順伝播で標準的なFGVCベンチマークで競争力のある認識性能を達成すること。

提案手法

• 本手法は、入力画像から判別的な領域を強調する注目マップを生成する軽量ネットワークであるAttNetを導入する。
• AffNetは注目マップを入力とし、局所化された領域に画像をクロップするためのアフィン変換パラメータを予測する。
• クロッピング操作は双線形サンプリングにより微分可能であり、モデル全体にエンド・ツー・エンドの逆伝播を可能にする。
• モデルは交差エントロピー損失（L_CE）、埋め込み損失（L_emb）、および2つの自己教師付き損失（L_att と L_aff）の組み合わせで訓練される。これらの自己教師付き損失は、最終畳み込み層の特徴マップの統計を利用している。
• 自己教師付き損失は、追加のアノテーションを必要とせず、局所化精度の向上に補助的な監視信号を提供する。
• 全システムは画像ラベルのみで訓練され、すべてのコンponentsに一貫した効率的な訓練が可能になる。

実験結果

リサーチクエスチョン

• RQ1 軽量でエンド・ツー・エンドで微分可能な局所化モジュールは、複数回のネットワークパスや複雑な学習スケジュールを必要とせずに、微細な視覚的分類の精度を向上させることができるか？
• RQ2 特徴マップの統計から導出される自己教師付き損失関数は、勾配ベースの学習と組み合わせることで、局所化精度の向上にどの程度効果的か？
• RQ3 分離された注目ネットワーク（AttNet）とアフィン変換ネットワーク（AffNet）の統合は、標準的な空間変換ネットワークや反復的注目メカニズムよりも優れた性能をもたらすか？
• RQ4 提案手法は、標準的なFGVCベンチマークにおいて、既存のSOTA手法と比較して、精度と学習効率の両面でどの程度優れているか？

主な発見

• 提案されたエンド・ツー・エンドモデルは、CUB200-2011ベンチマークで88.5%の精度を達成し、STN、RA-CNN、ISEなどの従来手法を上回っている。
• Stanford Carsでは95.3%の精度を達成し、最高性能を示したAPI-Netと同等であり、TResNetを除くすべての手法を上回っている。
• FGVC-Aircraftでは93.9%の精度を達成し、SOTAのAPI-Netと同等の性能を示し、TBMSL-Netを除くすべての手法を上回っている。
• アブレーションスタディの結果、自己教師付き損失を無効化すると性能が低下し、それらが局所化精度の向上において重要な役割を果たしていることが確認された。
• 勾配伝播と自己教師付き監視の両方が有効に機能している際、モデルは最良の性能を発揮しており、共同学習戦略の有効性が示された。
• 本手法は高い効率性を維持しており、反復的または複数回のパスを必要とせず、1回の順伝播のみで動作する。