[論文レビュー] Training with Confusion for Fine-Grained Visual Classification.

Abhimanyu Dubey, Otkrist Gupta+4 more|arXiv (Cornell University)|May 22, 2017

Advanced Neural Network Applications被引用数 7

ひとこと要約

この論文は、微細な視覚的分類の一般化を向上させるために、トレーニング中にニューラルネットワークの活性化に意図的に混乱を導入する、Training-with-Confusion と呼ばれる新しい最適化手法を紹介している。このアプローチは、多様なデータセットで有効であり、小規模なトレーニングデータセットやラベルノイズに対して頑健で、推論のオーバーヘッドなしに最先端の性能を達成する。

ABSTRACT

Research in Fine-Grained Visual Classification has focused on tackling the variations in pose, lighting, and viewpoint using sophisticated localization and segmentation techniques, and the usage of robust texture features to improve performance. In this work, we look at the fundamental optimization of neural network training for fine-grained classification tasks with minimal inter-class variance, and attempt to learn features with increased generalization to prevent overfitting. We introduce Training-with-Confusion, an optimization procedure for fine-grained classification tasks that regularizes training by introducing confusion in activations. Our method can be generalized to any fine-tuning task; it is robust to the presence of small training sets and label noise; and adds no overhead to the prediction time. We find that Training-with-Confusion improves the state-of-the-art on all major fine-grained classification datasets.

研究の動機と目的

• 最小のクラス間分散と小規模なトレーニングデータセットに起因する微細な視覚的分類における過学習を解消すること。
• 推論時間の増加や複雑なアーキテクチャの必要性なしに、モデルの一般化を向上させること。
• ラベルノイズや小規模データセットに対して頑健なトレーニング手順を開発すること。
• 活性化における制御された混乱を通じて特徴学習を強化する正則化メカニズムを導入すること。

提案手法

• バックプロパゲーション中に、類似クラス間で曖昧な活性化パターンを促進するための混乱正則化項を導入する。
• 損失関数に混乱成分を追加することで、微細なクラス間で過信された予測をペナルティ化する。
• ネットワークアーキテクチャに依存せず、任意の事前学習済みモデルのファインチューニング時に適用可能である。
• トレーニング中に類似クラス間の特徴を交換または混合することで、曖昧な例をシミュレートする。
• モデルのアーキテクチャや予測時間に変更を加えず、実装に優れた効率性を発揮する。
• 標準的な最適化パイプラインと互換性があり、標準的な学習率以外の追加ハイパーパrameterが不要である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの活性化に制御された混乱を導入することで、微細な分類における一般化が向上するか？
• RQ2 ラベルノイズや限られたトレーニングデータ下で Training-with-Confusion はどの程度の性能を示すか？
• RQ3 推論コストを増加させることなく、精度を維持または向上させることができるか？
• RQ4 このアプローチは、さまざまな微細な分類ベンチマークに一般化可能か？
• RQ5 データ分布の変化やクラスの類似性の変動に対して、この手法は頑健か？

主な発見

• Training-with-Confusion は、すべての主要な微細な視覚的分類データセットで最先端の性能を達成した。
• 特にデータが少ない状況やラベルノイズの下でも、一般化性能が向上した。
• 推論時の計算コストを増加させることなく、モデルの頑健性が向上した。
• 多様なアーキテクチャやデータセットに対して有効であり、広範な適用可能性を示した。
• 混乱正則化により、類似クラスに対する過信を減らすことで、より判別力のある特徴学習が実現した。
• 標準的な ResNet バックボーンと標準的なトレーニングプロトコルを使用しても、既存の手法を上回った。