[논문 리뷰] Striking the Right Balance with Uncertainty

Salman Khan, Munawar Hayat외 3명|arXiv (Cornell University)|2019. 01. 22.

Imbalanced Data Classification Techniques참고 문헌 59인용 수 31

한 줄 요약

이 논문은 베이지안 불확실성 추정을 활용하여 결정 경계를 동적으로 조정함으로써 불균형 데이터셋에서 강건한 분류기를 학습하기 위한 새로운 불확실성 기반 프레임워크를 제안한다. 희귀 클래스에 대해 더 큰 마진을 강제하고, 표본을 다변량 정규분포로 모델링하여 일반화 성능을 향상시켜, 얼굴 인식, 특성 예측, 피부 병변 검출 분야의 여섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning unbiased models on imbalanced datasets is a significant challenge. Rare classes tend to get a concentrated representation in the classification space which hampers the generalization of learned boundaries to new test examples. In this paper, we demonstrate that the Bayesian uncertainty estimates directly correlate with the rarity of classes and the difficulty level of individual samples. Subsequently, we present a novel framework for uncertainty based class imbalance learning that follows two key insights: First, classification boundaries should be extended further away from a more uncertain (rare) class to avoid overfitting and enhance its generalization. Second, each sample should be modeled as a multi-variate Gaussian distribution with a mean vector and a covariance matrix defined by the sample's uncertainty. The learned boundaries should respect not only the individual samples but also their distribution in the feature space. Our proposed approach efficiently utilizes sample and class uncertainty information to learn robust features and more generalizable classifiers. We systematically study the class imbalance problem and derive a novel loss formulation for max-margin learning based on Bayesian uncertainty measure. The proposed method shows significant performance improvements on six benchmark datasets for face verification, attribute prediction, digit/object classification and skin lesion detection.

연구 동기 및 목표

• 희귀 클래스의 일반화 능력이 떨어지는 장꼬리형 불균형 데이터셋에서 편향 없는 분류기를 학습하는 데 도전한다.
• 분류에서 클래스 희귀도 또는 표본 난이도와 베이지안 불확실성 추정 간의 내재적 연관성을 조사한다.
• 클래스 수준 및 표본 수준의 불확실성에 기반해 결정 경계를 동적으로 조정할 수 있는 미분 가능한 손실 함수를 개발한다.
• 불확실성 인식 마진 강제화를 통해 부족한 표본 수를 가진 클래스의 분류 영역을 확장하여 일반화 성능을 향상시킨다.

제안 방법

• 클래스 수준의 불확실성 추정을 기반으로 한 원칙적인 마진 강제 손실을 도입하여, 희귀 클래스에 대해 마진 확장을 결정한다.
• 각 표본을 평균과 공분산이 불확실성에서 유도된 다변량 정규분포로 모델링하여 이차 모멘트 인식 경계 최적화를 가능하게 한다.
• 클래스 수준 및 표본 수준의 불확실성을 소프트맥스 목표에 통합한 완전히 미분 가능한 손실 함수를 제안하며, 표준 딥 네트워크와 호환된다.
• 드롭아웃을 사용해 불확실성 추정을 베이지안 근사로 구현하며, 아블레이션 연구를 통해 0.3~0.5의 드롭아웃 비율에서 최적 성능을 보임을 확인했다.
• ArcFace나 SphereFace와 같은 고정 마진 하이퍼파rameter를 불확실성 기반 값으로 대체하여 어려운 표본과 희귀 표본에서의 분류 능력을 향상시켰다.
• 얼굴 인식, 특성 예측, 피부 병변 검출 등 다양한 벤치마크에 이 방법을 적용하여 일관된 성능 향상을 입증했다.

실험 결과

연구 질문

• RQ1 장꼬리형 분류에서 베이지안 불확실성 추정을 신뢰성 있게 희귀 클래스 및 어려운 표본을 식별하는 데 사용할 수 있는가?
• RQ2 불확실성(희귀) 클래스에 대해 더 큰 결정 마진을 강제하면 테스트 데이터에 대한 일반화 성능이 향상되는가?
• RQ3 불확실성에서 유도된 공분산을 가진 다변량 정규분포로 표본을 모델링하면 분류기의 강건성이 향상되는가?
• RQ4 장꼬리형 데이터셋에서 불확실성 기반 마진 강제화는 전통적인 비용 감안 또는 데이터 증강 방법보다 어떻게 비교되는가?
• RQ5 다양한 비전 벤치마크에서 불확실성 기반 손실 재가중이 희귀 클래스 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 얼굴 인식, 특성 예측, 피부 병변 검출 분야의 여섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 불균형 CIFAR-10에서 F1(4.5)과 재현율(3.9) 향상이 뚜렷했다.
• 가장 불균형한 상위 50% 클래스(표본 수가 가장 적은 클래스)에 대해 20개 중 16개(80%)에서 최고 성능를 기록하여 희귀 카테고리에서 뚜렷한 성과 향상을 보였다.
• 아블레이션 연구를 통해 불확실성 기반 마진 강제화(UMM)와 표본 수준의 불확실성 모델링(SUM)을 결합한 경우가 가장 높은 성능(불균형 MNIST에서 98.7% 정확도)을 기록했다.
• ArcFace와 SphereFace의 고정 마진 하이퍼파라미터를 불확실성 추정 값으로 대체하면, 테스트된 모든 손실 유형에서 일관된 성능 향상이 나타났다.
• 최적의 성능는 드롭아웃 비율 0.3~0.5에서 달성되었으며, 이보다 높거나 낮은 비율은 성능 저하를 유도하여 불확실성 추정 품질에 민감함을 시사했다.
• 모든 클래스 간 점수 분산이 감소하여 더 균형 잡힌 성능과 부족한 표본 수를 가진 클래스의 일반화 성능 향상을 나타냈다.