[논문 리뷰] Long-Tailed Recognition by Mutual Information Maximization between Latent Features and Ground-Truth Labels

Min-Kook Suh, Seung‐Woo Seo|arXiv (Cornell University)|2023. 05. 02.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 장기적 분포 인식 문제를 해결하기 위해 잠재 특징과 진짜 레이블 간의 상호정보를 최대화하는 새로운 손실 함수인 가우시안 믹스처 가능성(Gaussian Mixture Likelihood, GML)을 제안한다. 클래스 조건부 가능도를 클래스별 큐와 교사-학생 프레임워크를 활용한 커널 밀도 추정으로 모델링함으로써, 대비 학습과 로짓 조정을 원활하게 통합하여 ImageNet-LT, iNaturalist 2018, CIFAR-LT, 그리고 ADE20K 세그멘테이션 벤치마크에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Although contrastive learning methods have shown prevailing performance on a variety of representation learning tasks, they encounter difficulty when the training dataset is long-tailed. Many researchers have combined contrastive learning and a logit adjustment technique to address this problem, but the combinations are done ad-hoc and a theoretical background has not yet been provided. The goal of this paper is to provide the background and further improve the performance. First, we show that the fundamental reason contrastive learning methods struggle with long-tailed tasks is that they try to maximize the mutual information maximization between latent features and input data. As ground-truth labels are not considered in the maximization, they are not able to address imbalances between class labels. Rather, we interpret the long-tailed recognition task as a mutual information maximization between latent features and ground-truth labels. This approach integrates contrastive learning and logit adjustment seamlessly to derive a loss function that shows state-of-the-art performance on long-tailed recognition benchmarks. It also demonstrates its efficacy in image segmentation tasks, verifying its versatility beyond image classification.

연구 동기 및 목표

• 클래스 빈도의 불균형으로 인해 대비 학습 방법이 장기적 분포 데이터셋에서 성능이 열등한 이유를 해결하기 위해.
• 이전 방법들이 부족했던 대비 학습과 로짓 조정을 이론적으로 기반화한 기반을 제공하기 위해.
• 잠재 특징과 진짜 레이블 간의 상호정보 최대화를 통해 대비 학습과 로짓 조정을 통합하는 통합 프레임워크를 개발하기 위해.
• 이론적 기반을 바탕으로 이미지 분류 외의 작업, 특히 레이블 분포가 불균형한 세그멘테이션 작업으로의 일반화 능력을 검증하기 위해.
• 낮은 빈도의 꼬리 클래스를 포함한 가우시안 믹스처 가능도를 효율적이고 확장 가능한 방식으로 모델링하기 위해.

제안 방법

• 장기적 분포 인식 문제를 입력 데이터와의 특징 간 상호정보 최대화가 아니라, 잠재 특징과 진짜 레이블 간 상호정보 최대화로 재정의하기 위해.
• 클래스 빈도에 기반한 로짓 조정 사전 항과 가우시안 커널 밀도 추정으로 추정된 가능도 항을 포함하는 일반적인 손실 함수 GML를 유도하기 위해.
• 단일 큐 대신 여러 클래스별 큐를 사용하여 대비 샘플을 저장함으로써 꼬리 클래스의 표현 학습을 향상시키기 위해.
• 사전 학습된 교사 네트워크가 업데이트된 고품질의 대비 샘플을 생성하여 학습에 활용하는 교사-학생 정규화 전략을 구현하기 위해.
• 로짓 스케일링을 적응적으로 조정하기 위해 학습 가능한 온도 파rameter τg 를 도입하여 최적화 안정성과 성능 향상시키기 위해.
• 기존의 교차 엔트로피 손실을 최소한의 아키텍처 변경으로 대체하여 이미지 분류 및 세그멘테이션 작업 전반에 GML 손실을 적용하기 위해.

실험 결과

연구 질문

• RQ1 왜 대비 학습 방법은 균형 잡힌 데이터에서는 성공했지만, 장기적 분포 데이터셋에서는 실패하는가?
• RQ2 대비 학습과 로짓 조정의 조합이 이론적으로 타당한가, 아니면 경험적으로만 튜닝된 것인가?
• RQ3 불균형한 환경에서 특징과 레이블 간의 상호정보 최대화를 효과적으로 최적화할 수 있는가?
• RQ4 제안된 방법은 이미지 분류 외의 작업, 예를 들어 장기적 레이블 분포를 가진 세그멘테이션 작업으로 일반화될 수 있는가?
• RQ5 클래스별 큐와 교사-학생 프레임워크를 활용한 커널 밀도 추정을 통한 클래스 조건부 가능도 모델링의 영향은 무엇인가?

주요 결과

• 제안된 GML 손실은 ImageNet-LT에서 기존 방법들보다 상당한 격차로 최고 성능을 기록하며 상위-1 및 상위-5 정확도 모두에서 SOTA 성능을 달성했다.
• iNaturalist 2018에서 85.1%의 상위-1 정확도를 기록하여 이전 SOTA 방법보다 2퍼센트 이상 뛰어났다.
• CIFAR-LT에서 74.8%의 상위-1 정확도를 기록하여 다양한 장기적 분포 벤치마크에서 강력한 일반화 능력을 입증했다.
• ADE20K 세그멘테이션에서 mIoU는 교차 엔트로피 기반 36.1에서 38.1로 향상되었고, mAcc는 45.4에서 51.4로 상승하여 높은 전이 가능성(transferability)을 보였다.
• 로짓 조정의 최적 하이퍼파rameter α 는 mIoU 기준 α=0.2에서, mAcc 기준 α=1.0에서 최고 성능를 기록하여 헤드 클래스와 테일 클래스 간의 성능 트레이드오프를 확인했다.
• 온도 파arameter τg 를 학습시킴으로써 ADE20K에서 mAcc가 58.2에서 58.3으로 약간이지만 일관되게 향상되어 성능 향상이 확인되었다.