[논문 리뷰] Improving Fine-Grained Visual Classification using Pairwise Confusion

Abhimanyu Dubey, Otkrist Gupta외 4명|arXiv (Cornell University)|2017. 05. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 2

한 줄 요약

이 논문은 종류가 유사한 클래스 간의 활성화를 의도적으로 혼동시키는 방식으로 특징 일반화를 향상시키는 새로운 정규화 기법인 Pairwise Confusion (PC)을 제안한다. 이는 종합적인 훈련 과정 중에 혼란을 유도함으로써 소규모이자 높은 변동성을 보이는 데이터셋에서 과적합을 줄이고, 최소한의 초모수 조정과 테스트 시 오버헤드 없이 여섯 개의 벤치마크 FGVC 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Fine-Grained Visual Classification (FGVC) datasets contain small sample sizes, along with significant intra-class variation and inter-class similarity. While prior work has addressed intra-class variation using localization and segmentation techniques, the inter-class similarity may also affect feature learning and reduce classification performance. In this work, we address this problem using a novel optimization procedure for the end-to-end neural network training on FGVC tasks. This procedure, called Pairwise Confusion (PC) attempts to learn features with greater generalization, thereby preventing overfitting. This regularization during training is accomplished by intentionally introducing confusion in the activations. With PC regularization, we obtain state-of-the-art performance on six of the most widely-used FGVC datasets and demonstrate improved localization ability. PC is easy to implement, does not need excessive hyperparameter tuning during training, and does not add significant overhead during test time

연구 동기 및 목표

• 세부 시각 분류(FGVC) 데이터셋에서 클래스 간 유사성 문제를 해결함으로써 특징 학습을 어렵게 하고 과적합을 증가시키는 문제를 다루기 위해.
• 훈련 중에 유사한 클래스 간의 혼란을 명시적으로 모델링하여 모델의 일반화 능력을 향상시키기 위해.
• 초모수 조정이 광범위하게 필요로 하지 않는 간단하고 효과적인 정규화 기법을 개발하기 위해.
• 소규모 세부 시각 데이터셋에서 분류 정확도와 국소화 성능을 모두 향상시키기 위해.
• 최소한의 추론 시간 비용으로도 즉시 사용 가능한 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 백프로파게이션 중에 유사한 클래스 간의 활성화를 의도적으로 혼동시키는 훈련 시간 정규화인 Pairwise Confusion (PC)을 도입한다.
• PC는 유사한 클래스의 특징 표현이 더 모호해지도록 유도함으로써, 클래스 간 유사성에 대한 강건성을 향상시키기 위해 손실 함수를 수정한다.
• 아키텍처 변경이나 추가 모듈 없이 신경망 내에서 종단 간(end-to-end)으로 적용된다.
• 표준 훈련 설정을 초과하는 추가 초모수가 필요로 하지 않아 구현이 용이하다.
• 혼란을 시뮬레이션하는 기울기 업데이트를 활용함으로써, 세부 시각 카테고리 간에 더 잘 일반화되는 특징을 촉진한다.
• 표준 최적화와 호환되며, 테스트 시 계산 비용을 추가하지 않는다.

실험 결과

연구 질문

• RQ1 훈련 중에 통제된 혼란을 도입하면 세부 시각 분류에서 일반화 능력이 향상되는가?
• RQ2 Pairwise Confusion은 소규모이자 높은 변동성을 보이는 FGVC 데이터셋에서 과적합을 줄이는가?
• RQ3 PC는 추론 비용을 증가시키지 않고도 분류 정확도와 국소화 성능을 모두 향상시킬 수 있는가?
• RQ4 표준 FGVC 벤치마크에서 기존의 정규화 및 국소화 기법들과 비교해 PC는 어떻게 성능을 내는가?
• RQ5 다양한 수준의 클래스 간 유사성을 가진 다양한 세부 시각 데이터셋에서 PC는 견고한가?

주요 결과

• Pairwise Confusion은 널리 사용되는 여섯 개의 FGVC 데이터셋에서 최고 성능을 달성하며 이전 방법들을 능가한다.
• 이 방법은 고내부 클래스 변동성과 고클래스 간 유사성 데이터셋에서 과적합을 줄이며 특징 일반화 능력을 향상시킨다.
• PC는 국소화 능력을 향상시켜 더 나은 분류적 부분에 대한 주의를 기울임을 나타낸다.
• 추가 초모수 조정이 필요로 하지 않으며, 추론 시 계산 오버헤드도 추가하지 않는다.
• 다양한 세부 시각 분류 벤치마크에서 일관된 성능 향상을 보이며, 통제된 혼란의 효과를 입증한다.
• 구현이 단순하고 표준 딥러닝 파ip라인과 호환된다.