[論文レビュー] Improving Fine-Grained Visual Classification using Pairwise Confusion

Abhimanyu Dubey, Otkrist Gupta+4 more|arXiv (Cornell University)|May 22, 2017

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 2

ひとこと要約

本論文は、エンドツーエンド学習中にネットワークの活性化に意図的に混乱を導入することで、特徴の一般化を向上させる、新しい正則化手法であるペairワイズコンフュージョン（PC）を提案する。PCは、小規模で高変動性のデータセットにおいて過学習を低減し、ハイパーパramータの微調整を最小限に抑え、推論時コストを追加せずに、6つのベンチマークFGVCデータセットで最先端の性能を達成する。

ABSTRACT

Fine-Grained Visual Classification (FGVC) datasets contain small sample sizes, along with significant intra-class variation and inter-class similarity. While prior work has addressed intra-class variation using localization and segmentation techniques, the inter-class similarity may also affect feature learning and reduce classification performance. In this work, we address this problem using a novel optimization procedure for the end-to-end neural network training on FGVC tasks. This procedure, called Pairwise Confusion (PC) attempts to learn features with greater generalization, thereby preventing overfitting. This regularization during training is accomplished by intentionally introducing confusion in the activations. With PC regularization, we obtain state-of-the-art performance on six of the most widely-used FGVC datasets and demonstrate improved localization ability. PC is easy to implement, does not need excessive hyperparameter tuning during training, and does not add significant overhead during test time

研究の動機と目的

• 微細分類視覚認識（FGVC）データセットにおけるクラス間の類似性という課題に対処すること。これは、特徴学習を困難にし、過学習を増加させる要因である。
• トレーニング中に類似クラス間の混乱を明示的にモデル化することで、モデルの一般化性能を向上させること。
• 広範なハイパーパramータチューニングを必要としない、シンプルで効果的な正則化手法を開発すること。
• 小規模で微細な分類データセットにおいて、分類精度と局所化性能の両方を向上させること。
• 推論時コストをほとんど追加しない、即挿し可能なソリューションを提供すること。

提案手法

• 本手法は、バックプロパゲーション中に類似クラス間の活性化を意図的に混乱させる、トレーニング時正則化であるペアワイズコンフュージョン（PC）を導入する。
• PCは、類似クラスの特徴表現がより曖昧になるように損失関数を変更することで、クラス間類似性に対するロバストネスを向上させる。
• アーキテクチャの変更や追加モジュールなしに、ニューラルネットワーク内でエンドツーエンドに適用可能である。
• PCは標準的なトレーニング設定を超える追加ハイパーパrameterを必要とせず、実装が容易である。
• 本手法は、混乱を模倣する勾配更新を活用し、微細なカテゴリ間でより一般化しやすい特徴を促進する。
• 標準的な最適化と互換性があり、推論時において追加の計算コストを追加しない。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に制御された混乱を導入することで、微細分類視覚認識における一般化性能が向上するか？
• RQ2 ペアワイズコンフュージョンは、小規模で高変動性のFGVCデータセットにおいて過学習を低減するか？
• RQ3 PCは、推論コストを増加させることなく、分類精度と局所化性能の両方を向上させることができるか？
• RQ4 標準的なFGVCベンチマークにおいて、PCは既存の正則化および局所化手法と比較して優れているか？
• RQ5 多様な微細分類データセット（クラス間類似度のレベルが異なるもの）において、PCは頑健か？

主な発見

• ペアワイズコンフュージョンは、広く使われている6つのFGVCベンチマークデータセットで最先端の性能を達成し、先行手法を上回る。
• 本手法は特徴の一般化を向上させ、高イントラクラス変動性とクラス間類似性が顕著なデータセットにおける過学習を低減する。
• PCは局所化能力を向上させ、より良い識別的部分への注目を示している。
• 追加のハイパーパramータチューニングが不要であり、推論時にも計算コストが追加されない。
• 結果は、多様な微細分類分類ベンチマークで一貫した向上を示しており、制御された混乱の有効性を裏付けている。
• 実装が簡単で、標準的なディープラーニングパイプラインと互換性がある。