[논문 리뷰] Maximum-Entropy Fine-Grained Classification

Abhimanyu Dubey, Otkrist Gupta외 2명|arXiv (Cornell University)|2018. 09. 16.

Machine Learning and Data Classification인용 수 51

한 줄 요약

이 논문은 FGVC(세분화 시각 분류)를 위한 최대 엔트로피 학습 objective를 제안하여 여러 FGVC 데이터셋과 아키텍처에서 최첨단 성능을 달성하는 동시에 데이터, 하이퍼파라미터, 레이블 노이즈에 대해 강건함을 보인다.

ABSTRACT

Fine-Grained Visual Classification (FGVC) is an important computer vision problem that involves small diversity within the different classes, and often requires expert annotators to collect data. Utilizing this notion of small visual diversity, we revisit Maximum-Entropy learning in the context of fine-grained classification, and provide a training routine that maximizes the entropy of the output probability distribution for training convolutional neural networks on FGVC tasks. We provide a theoretical as well as empirical justification of our approach, and achieve state-of-the-art performance across a variety of classification tasks in FGVC, that can potentially be extended to any fine-tuning task. Our method is robust to different hyperparameter values, amount of training data and amount of training label noise and can hence be a valuable tool in many similar problems.

연구 동기 및 목표

• Visually 유사하고 데이터가 희소한 FGVC에서 일반화 개선 동기를 제시합니다.
• CNN 미세조정에서 출력 분포 엔트로피를 정규화로 formalize합니다.
• 엔트로피, 특징 다양성, 분류기 가중치 노름의 이론적 경계를 도출합니다.
• 여러 데이터셋과 아키텍처에서 FGVC 성능을 최첨단으로 보여줍니다.
• 하이퍼파라미터, 데이터 양, 레이블 노이즈에 대한 방법의 강건성을 보여줍니다.]
• method에 대한 설명을 한글로 번역하려고 하나의 아이템으로 작성되었습니다.

제안 방법

• 실제 라벨에서의 KL-발산을 최소화하면서 출력 분포의 엔트로피를 최대화하는 Fine-tuning objective를 도입합니다: 최소화 E_x[ D_KL( ȳ(x) || p(y|x; θ) ) ] - γ E_x[ H[p(y|x; θ)] ].
• 모델은 CNN 피처上的 선형 분류기에 대한 소프트맥스(softmax)로 p(y|x; θ)를 얻습니다: p(y_i|x; w, Φ(x)) = exp(w_i^T Φ(x)) / sum_j exp(w_j^T Φ(x)).
• 특징 다양성 ν(Φ, p_x)를 풀링된 특징들의 공분산 Σ*의 고유값 합으로 정의하고, 이를 가중치 노름 ||w||_2에 대한 하한을 통해 연결합니다.
• 엔트로피, 다양성 및 가중치 노름을 연결하는 이론적 분석(정리 1-2 및 보정 1)을 제공하여 특히 저다양성 FGVC 설정에서 엔트로피 정규화를 정당화합니다.
• 다양한 FGVC 데이터셋(CUB-200-2011, Cars, Aircrafts, NABirds, Stanford Dogs)과 CNN 백본(GoogLeNet, ResNet-50, VGGNet16, Bilinear CNN, DenseNet-161)에서 광범위한 실험을 수행합니다.
• 최대 엔트로피 미세조정과 표준 미세조정, 그리고 Label Smoothing Regularization(LSR) 간의 비교를 통해 FGVC 태스크에서 더 큰 이득을 보여줍니다.

실험 결과

연구 질문

• RQ1 FGVC 미세조정 중 출력 분포의 엔트로피를 최대화하는 것이 시각적 다양성이 낮은 경우 일반화에 도움이 되는가?
• RQ2 출력 엔트로피 정규화가 특징 다양성과 어떻게 상호 작용하여 모형 복잡도를 제약하고 강건성을 향상시키는가?
• RQ3 최대 엔트로피 미세조정은 여러 아키텍처에서 하이퍼파라미터 선택, 데이터 양, 레이블 노이즈에 대해 강건한가?
• RQ4 이 방법의 성능은 표준 데이터셋에서 기존 FGVC 기법 및 정규화 방법(예: 레이블 스무딩) 대비 어떤가?

주요 결과

• 최대 엔트로피 학습은 다섯 개의 FGVC 데이터셋에서 여러 CNN 아키텍처에 대해 최첨단 또는 근접 최첨단 정확도를 달성합니다.
• 이미지넷에서 파인튜닝할 때 기본 모델(예: GoogLeNet, ResNet-50)에서 상당한 향상을 제공하며 표준 미세조정 및 LSR과 비교해 더 나은 경우가 많습니다.
• empirical 결과는 Maximum-Entropy 학습 하에서 예측 로짓 분포가 더 매끄럽고 확률 값의 꼬리가 두꺼워져 더 일반화된 결정 경계를 시사합니다.
• pool5 특징의 고유값 분석은 최대 엔트로피에서 고유값 스펙트럼의 꼬리가 감소하는 것을 보여주며 학습된 특징의 일반성이 증가함을 시사합니다.
• 하이퍼파라미터(γ), 레이블 노이즈, 데이터 양에 대해 강건하며 때로는 학습 크로스 엔트로피를 증가시키지만 검증 정확도는 향상됩니다.
• LSR과 비교할 때 FGVC 태스크에서 최대 엔트로피가 더 큰 이득을 제공합니다.