[論文レビュー] Fine-grained Recognition: Accounting for Subtle Differences between Similar Classes

Guolei Sun, Hisham Cholakkal+3 more|arXiv (Cornell University)|Dec 14, 2019

Advanced Neural Network Applications参考文献 33被引用数 10

ひとこと要約

本論文は、細分化視覚認識のための新規アプローチを提案する。それは、物体間の微細な非顕著特徴に注目させるために、深層ネットワークが注目を向けるのを促す多様化ブロックと、最も紛らわしいクラスペアにのみ勾配を強化する勾配ブースティング損失関数を導入している。この手法は、クラス間の曖昧さを明示的にモデル化し、過学習を低減することで、5つの細分化ベンチマークデータセットで高速な収束と最先端の精度を達成している。

ABSTRACT

The main requisite for fine-grained recognition task is to focus on subtle discriminative details that make the subordinate classes different from each other. We note that existing methods implicitly address this requirement and leave it to a data-driven pipeline to figure out what makes a subordinate class different from the others. This results in two major limitations: First, the network focuses on the most obvious distinctions between classes and overlooks more subtle inter-class variations. Second, the chance of misclassifying a given sample in any of the negative classes is considered equal, while in fact, confusions generally occur among only the most similar classes. Here, we propose to explicitly force the network to find the subtle differences among closely related classes. In this pursuit, we introduce two key novelties that can be easily plugged into existing end-to-end deep learning pipelines. On one hand, we introduce diversification block which masks the most salient features for an input to force the network to use more subtle cues for its correct classification. Concurrently, we introduce a gradient-boosting loss function that focuses only on the confusing classes for each sample and therefore moves swiftly along the direction on the loss surface that seeks to resolve these ambiguities. The synergy between these two blocks helps the network to learn more effective feature representations. Comprehensive experiments are performed on five challenging datasets. Our approach outperforms existing methods using similar experimental setting on all five datasets.

研究の動機と目的

• 細分化視覚分類（FGVC）において、微細な差が重要であるが、しばしば無視される極めて類似したオブジェクトカテゴリを区別する課題に対処すること。
• 既存の深層学習モデルが最も顕著な特徴部分にのみ注目するため、一般化性能が低く、過学習が生じるという限界を克服すること。
• 二重メカニズムにより、特徴表現と予測信頼度を明示的に正則化することで、モデルのロバスト性と一般化性能を向上させること。
• すべての負例を均等に扱うのではなく、最も曖昧で紛らわしいクラスペアに焦点を当てることで、最適化を効率化し、収束を加速するとともに性能を向上させること。

提案手法

• 入力画像の最も顕著な特徴をマスクする多様化ブロックを導入し、ネットワークが分類に際してより微細で分散された手がかりに依存するよう強制する。
• 各サンプルに対して、k個の最も紛らわしい負例クラスにのみ勾配を強化する損失関数を設計。すべての負例クラスを均等に扱うのではなく、特定のクラスペアに集中する。
• 損失関数は、勾配ブースティングの度合いを制御する抑制要因αを用いる。αの値が小さいほど、性能が向上する。
• 多様化ブロックと勾配ブースティング損失は、標準的なエンドツーエンドの深層学習パイプラインと互換性があり、既存のモデルに容易に統合可能である。
• 単一の支配的部品に注目が集中するのではなく、複数の情報量の多い領域（例：くちばし、しっぽ、あしみ）に注目を分散させる。
• この2つのコンponentsの相乗効果により、特徴の多様性が向上し、特に区別が難しいクラスの判別能が向上する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層ネットワークが、最も判別に効く部分にのみ注目するのではなく、微細で非顕著な特徴に注目させるか？
• RQ2 すべての負例クラスではなく、最も紛らわしいクラスペアに最適化を集中させることの影響は何か？
• RQ3 難易度の高い負例クラスに勾配をブースティングする損失関数は、細分化分類における収束速度と最終的な精度を向上させられるか？
• RQ4 多様化ブロックは、注目が単一の領域に集中するのを防ぐことで、過学習をどの程度低減できるか？
• RQ5 提案手法は、細分化データセットにとどまらず、ImageNetのような標準的な画像分類ベンチマークにも一般化可能か？

主な発見

• CUB-200-2011データセットでは、ベースラインの交差エントロピー（CE）のトップ1精度86.3%を、提案手法で87.7%まで向上させ、絶対的向上幅1.4%を達成した。
• 勾配ブースティング損失は、センター損失、LGM損失、最大エントロピー損失といった他の最先端損失関数を上回り、精度と収束速度の両面で優れた性能を示した。
• アブレーションスタディの結果、抑制要因α = 0.1が最良の性能を示した。一方、α = 1.0（多様化なし）では性能が劣った。
• 訓練曲線から、提案手法が交差エントロピー損失よりも著しく高速に収束し、訓練セットでの過学習を回避する能力に優れていることが示された。
• ImageNetでも、勾配ブースティング損失は標準的な交差エントロピー損失よりも収束が早く、誤差率も低かった。これは、提案手法が細分化データセットにとどまらず、一般化可能であることを確認した。
• クラスアクティビティマップの定性的分析により、多様化ブロックが、単一の支配的部品に注目するベースラインとは異なり、複数の情報量のある領域に注目を分散させることに成功したことが確認された。