[논문 리뷰] Training with Confusion for Fine-Grained Visual Classification.

Abhimanyu Dubey, Otkrist Gupta외 4명|arXiv (Cornell University)|2017. 05. 22.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 훈련 중에 신경망 활성화에 의 intensional한 혼란을 도입하여 일반화 능력을 향상시키고 과적합을 줄이는 새로운 최적화 방법인 Training-with-Confusion을 소개한다. 이 방법은 다양한 데이터셋에서 효과적이며, 작은 훈련 세트와 레이블 노이즈에 대해 강건하며, 추론 오버헤드 없이 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Research in Fine-Grained Visual Classification has focused on tackling the variations in pose, lighting, and viewpoint using sophisticated localization and segmentation techniques, and the usage of robust texture features to improve performance. In this work, we look at the fundamental optimization of neural network training for fine-grained classification tasks with minimal inter-class variance, and attempt to learn features with increased generalization to prevent overfitting. We introduce Training-with-Confusion, an optimization procedure for fine-grained classification tasks that regularizes training by introducing confusion in activations. Our method can be generalized to any fine-tuning task; it is robust to the presence of small training sets and label noise; and adds no overhead to the prediction time. We find that Training-with-Confusion improves the state-of-the-art on all major fine-grained classification datasets.

연구 동기 및 목표

• 최소한의 클래스 간 분산과 작은 훈련 세트로 인해 발생하는 세분화된 시각 분류에서의 과적합 문제를 해결하기 위해.
• 추론 시간을 늘리지 않고도 모델의 일반화 능력을 향상시키기 위해.
• 레이블 노이즈와 작은 데이터 세트에 강건한 훈련 절차를 개발하기 위해.
• 세분화된 클래스 간의 제어된 혼란을 통해 특징 학습을 향상시키는 정규화 메커니즘을 도입하기 위해.

제안 방법

• 유사한 클래스 간에 애매한 활성화 패턴을 장려하기 위해 역전파 중에 혼란 정규화 항을 도입한다.
• 세분화된 클래스 간 과신임 예측을 방지하기 위해 손실 함수에 혼란 성분을 추가하여 페널티를 적용한다.
• 모델 아키텍처에 종속되지 않으며, 어떤 사전 훈련된 모델에도 피팅 훈련 중에 적용할 수 있다.
• 유사한 클래스 간의 특징를 교환하거나 혼합하여 훈련 중에 애매한 예제를 시뮬레이션함으로써 혼란을 유도한다.
• 모델 아키텍처나 예측 시간을 변경하지 않아서 구현에 효율적이다.
• 표준 최적화 파ip라인과 호환되며, 표준 학습률 외에 추가 하이퍼파rameter가 필요하지 않다.

실험 결과

연구 질문

• RQ1 신경망 활성화에 제어된 혼란을 도입하면 세분화된 분류에서 일반화 능력이 향상되는가?
• RQ2 레이블 노이즈와 제한된 훈련 데이터 하에서 Training-with-Confusion의 성능는 어떠한가?
• RQ3 추론 비용을 증가시키지 않고도 정확도를 유지하거나 향상시키는가?
• RQ4 이 방법은 다양한 세분화된 분류 벤치마크에 일반화되는가?
• RQ5 데이터 분포의 변화와 클래스 유사도의 변동에 대해 강건한가?

주요 결과

• Training-with-Confusion는 모든 주요 세분화된 분류 데이터셋에서 최신 기술 성능을 달성한다.
• 특히 데이터가 적은 환경과 레이블 노이즈 하에서 일반화 능력이 향상된다.
• 추론 시간에 계산 비용을 증가시키지 않으면서 모델의 강건성을 향상시킨다.
• 다양한 아키텍처와 데이터셋에서 효과적이며, 광범위한 적용 가능성을 보여준다.
• 혼란 정규화는 유사한 클래스에서의 과신임을 줄여 더 구분력 있는 특징 학습을 이끈다.
• 표준 ResNet 백본과 표준 훈련 프로토콜을 사용할 때도 기존 기법들을 능가한다.