[논문 리뷰] Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition from a Domain Adaptation Perspective

Muhammad Abdullah Jamal, Matthew A. Brown외 3명|arXiv (Cornell University)|2020. 03. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 29

한 줄 요약

이 논문은 장수분포 시각 인식 문제를 도메인 적응 문제로 재구성하여, 특히 목표 이동(target shift)에 초점을 맞춰 클래스 균형 학습을 재고한다. 특히 부족한 꼬리 클래스에 대해 소스(학습)와 타겟(추론) 조건부 분포 간의 격차를 명시적으로 추정하고 보정하기 위한 메타학습 접근법을 제안하며, 여섯 가지 벤치마크에서 최신 기준 성능을 달성하고 기존 방법보다 일관된 향상을 이룬다.

ABSTRACT

Object frequency in the real world often follows a power law, leading to a mismatch between datasets with long-tailed class distributions seen by a machine learning model and our expectation of the model to perform well on all classes. We analyze this mismatch from a domain adaptation point of view. First of all, we connect existing class-balanced methods for long-tailed classification to target shift, a well-studied scenario in domain adaptation. The connection reveals that these methods implicitly assume that the training data and test data share the same class-conditioned distribution, which does not hold in general and especially for the tail classes. While a head class could contain abundant and diverse training examples that well represent the expected data at inference time, the tail classes are often short of representative training data. To this end, we propose to augment the classic class-balanced learning by explicitly estimating the differences between the class-conditioned distributions with a meta-learning approach. We validate our approach with six benchmark datasets and three loss functions.

연구 동기 및 목표

• 장수분포 시각 인식 문제를 도메인 적응 관점에서 분석하고, 특히 목표 이동 가정에 초점을 맞춘다.
• 기존 클래스 균형 방법에서 암묵적으로 가정하는 바, 즉 소스와 타겟 조건부 분포가 동일하다는 가정이 꼬리 클래스에 대해서는 성립하지 않음을 밝힌다.
• 메타학습을 활용하여 소스와 타겟 조건부 분포 간 격차를 명시적으로 모델링하여 장수분포 인식 성능을 향상시킨다.
• 더 나은 일반화를 위해 클래스별 가중치와 조건부 가중치를 동시에 최적화하는 이원 가중치 기반 방법을 개발한다.
• 여러 손실 함수를 사용하여 다양한 벤치마크, 즉 ImageNet-LT, Places-LT, iNaturalist에서 방법의 유효성을 검증한다.

제안 방법

• 장수분포 분류 문제를 도메인 적응의 목표 이동 문제로 재정의하며, 소스 도메인은 장수분포 클래스 분포를 가지며, 타겟 도메인은 균형 잡힌 것으로 가정한다.
• 이중 구성 가중치 메커니즘을 제안한다: 클래스별 가중치는 클래스 빈도를 균형 잡고, 조건부 가중치는 각 클래스에 대해 학습 데이터와 추론 데이터 간의 분포 이동을 보정한다.
• 메타학습 프레임워크를 활용하여 두 가지 가중치를 동시에 최적화하며, 내부 루프는 현재 가중치로 모델을 학습하고, 외부 루프는 검증 성능 기반으로 가중치를 업데이트한다.
• 이중 단계 학습 과정을 적용한다: 먼저 교차 엔트로피로 사전 학습한 후, 메타학습된 가중치로 미세조정하여 꼬리 클래스에서의 일반화 성능을 향상시킨다.
• 교차 엔트로피, 포칼 손실, LDAM 손실에 모두 적용하여 다양한 손실 함수에서 일관된 성능 향상을 입증한다.
• 메타학습 중에 분류 레이어만 업데이트하는 변형을 도입하여 장수분포 데이터셋에서 성능을 더욱 향상시켰다.

실험 결과

연구 질문

• RQ1 장수분포 시각 인식에서 소스와 타겟 조건부 분포가 동일하다는 가정이 꼬리 클래스에 대해서도 성립하는가?
• RQ2 학습 데이터와 추론 데이터 간의 분포 이동을 명시적으로 모델링하면 장수분포 데이터셋에서 성능 향상이 이루어지는가?
• RQ3 클래스별 가중치와 조건부 가중치의 공동 최적화를 메타학습으로 수행하는 것이 표준 클래스 균형 방법보다 나은가?
• RQ4 제안된 방법은 다양한 손실 함수와 벤치마크 데이터셋에서 일반화 가능한가?
• RQ5 조건부 가중치와 클래스별 가중치 중 어느 것이 꼬리 클래스 정확도 향상에 더 기여하는가?

주요 결과

• iNaturalist 2018에서 제안된 방법은 상위-1 오차를 70.10%로 줄였으며, 클래스 균형 교차 엔트로피보다 2% 향상되었고, 순수 교차 엔트로피보다 4.3% 향상되었다.
• Places-LT에서 방법은 상위-1 오차 62.90%를 기록했으며, OLTR(64.1%)와 cRT(63.3%)와 같은 최신 기준 방법들을 맞추거나 능가했다.
• ImageNet-LT에서 방법은 순수 교차 엔트로피 대비 3.33% 향상되었고, 클래스 균형 교차 엔트로피 대비 2.33% 향상되었다.
• 제거 실험 결과, 클래스별 가중치나 조건부 가중치를 제거할 경우 성능 저하가 발생하여, 양측 구성 요소가 모두 필요하다는 것을 확인했다.
• CIFAR-LT, ImageNet-LT, Places-LT, iNaturalist 2017/2018를 포함한 여섯 가지 벤치마크에서 모두 클래스 균형 학습을 초월하여 일관되게 뛰어난 성능을 보였다.
• 메타학습 중에 분류 레이어만 별도로 최적화하는 전략이 추가로 성능 향상을 이끌어내어, 미세조정 전략의 중요성을 입증했다.