[논문 리뷰] Disentangling Label Distribution for Long-tailed Visual Recognition

Youngkyu Hong, Seungju Han외 4명|arXiv (Cornell University)|2020. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 23

한 줄 요약

이 논문은 학습 중에 모델 예측에서 소스 레이블 분포를 분리하는 데 중점을 두어, 임의의 타겟 레이블 분포로의 일반화를 가능하게 하는 새로운 손실 함수 LADE(Learned label distribution DisEntangling)를 제안한다. Donsker-Varadhan 표현을 활용해 최적의 경계 추정을 수행함으로써, LADE는 CIFAR-100-LT, Places-LT, ImageNet-LT, iNaturalist 2018와 같은 장수익분포 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 모델 캘리브레이션 또한 향상시킨다.

ABSTRACT

The current evaluation protocol of long-tailed visual recognition trains the classification model on the long-tailed source label distribution and evaluates its performance on the uniform target label distribution. Such protocol has questionable practicality since the target may also be long-tailed. Therefore, we formulate long-tailed visual recognition as a label shift problem where the target and source label distributions are different. One of the significant hurdles in dealing with the label shift problem is the entanglement between the source label distribution and the model prediction. In this paper, we focus on disentangling the source label distribution from the model prediction. We first introduce a simple but overlooked baseline method that matches the target label distribution by post-processing the model prediction trained by the cross-entropy loss and the Softmax function. Although this method surpasses state-of-the-art methods on benchmark datasets, it can be further improved by directly disentangling the source label distribution from the model prediction in the training phase. Thus, we propose a novel method, LAbel distribution DisEntangling (LADE) loss based on the optimal bound of Donsker-Varadhan representation. LADE achieves state-of-the-art performance on benchmark datasets such as CIFAR-100-LT, Places-LT, ImageNet-LT, and iNaturalist 2018. Moreover, LADE outperforms existing methods on various shifted target label distributions, showing the general adaptability of our proposed method.

연구 동기 및 목표

• 현재 장수익분포 시각 인식 벤치마크가 균일한 타겟 분포에서 평가되는 실용적 한계를 해결하기 위해.
• 소스 분포와 다를 수 있는 타겟 분포를 고려한 레이블 이동 문제로 장수익분포 시각 인식을 재정의하기 위해.
• 학습 중에 소스 레이블 분포를 모델 예측에서 분리하여, 임의의 타겟 분포로의 적응 능력을 향상시키기 위해.
• 특히 장수익분포 설정에서 과신한 예측을 줄이기 위해 모델 캘리브레이션을 향상시키기 위해.

제안 방법

• 소스 분포와의 엔트레인먼트를 완화하기 위해 타겟 레이블 분포를 사용해 모델 예측을 보정하는 후처리 기반 기준점인 PC Softmax를 제안한다.
• Donsker-Varadhan 표현을 기반으로 한 새로운 학습 시 손실인 LADE를 도입하여, 소스 레이블 분포를 모델 로짓에서 직접적으로 분리한다.
• Donsker-Varadhan 표현의 최적 경계를 활용해 모델 출력을 정규화하여, 이상적인 조건에서는 로짓 값이 균일한 값으로 수렴하도록 한다.
• 분리 강도를 제어하기 위해 하이퍼파ram터 α를 사용한 정규화 항을 적용하여 안정적이고 캘리브레이션된 예측을 보장한다.
• 추론 시에 타겟 레이블 분포 $p_t(y)$를 모델 출력에 통합하기 위해 로짓을 $\log p_t(y) - \log p_u(y)$ 방식으로 조정함으로써 플러그 앤 플레이 적응을 가능하게 한다.
• 신뢰도 캘리브레이션을 정량적으로 평가하기 위해 기대 캘리브레이션 오차(ECE)를 사용하며, LADE가 신뢰성 향상에 기여함을 보여준다.

실험 결과

연구 질문

• RQ1 간단한 후처리 방법이 추론 시 타겟 레이블 분포를 매칭하면 장수익분포 시각 인식에서 최신 기술 성능(SOTA) 방법을 능가할 수 있는가?
• RQ2 학습 중에 소스 레이블 분포를 분리하는 것이 추론 시 보정보다 더 나은 일반화 성능을 내는가?
• RQ3 Donsker-Varadhan 표현을 효과적으로 활용해 모델 예측에서 레이블 분포를 분리하는 미분 가능한 손실을 만들 수 있는가?
• RQ4 LADE는 특히 장수익분포 데이터셋에서 과신한 예측을 줄이며 모델 캘리브레이션을 향상시키는가?
• RQ5 LADE는 다양한 장수익분포 벤치마크에서 불균형 비율과 타겟 분포가 다른 경우에도 잘 작동하는가?

주요 결과

• 간단한 후처리 기반 기준점인 PC Softmax는 CIFAR-100-LT, Places-LT, ImageNet-LT, iNaturalist 2018에서 추론 시 타겟 레이블 분포를 매칭함으로써 최신 기술 성능(SOTA) 방법을 능가한다.
• LADE는 CIFAR-100-LT(불균형 비율 100), Places-LT, ImageNet-LT, iNaturalist 2018에서 최신 기술 성능(SOTA)을 달성하며, 모든 데이터셋에서 일관된 성능 향상을 보였다.
• 불균형 비율이 증가할수록 LADE와 PC Softmax 간의 성능 격차가 커지며, 이는 LADE가 극도로 불균형한 데이터에 대해 더 뛰어난 일반화 능력을 지닌다는 것을 시사한다.
• ImageNet-LT에서 LADE는 기대 캘리브레이션 오차(ECE) 0.0346을 기록하여 Causal Norm과 Balanced Softmax를 능가하며, 더 나은 신뢰도 캘리브레이션을 보여주었다.
• 시각화 결과는 정규화 강도 $\alpha$가 증가할수록 LADE가 로짓 값을 이론적 균일 값 $\log C$로 정규화함을 확인하며, 분리 메커니즘의 타당성을 검증하였다.
• LADE는 다양한 이동된 타겟 분포로도 효과적으로 일반화되며, 다양한 불균형 설정을 가진 여러 벤치마크 데이터셋에서 일관된 성능 향상을 보였다.