[논문 리뷰] Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse Experts with Self-Supervision

Yifan Zhang, Bryan Hooi외 2명|arXiv (Cornell University)|2021. 07. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 36

한 줄 요약

이 논문은 테스트 무관 장기적 인식을 위한 Test-time Aggregating Diverse Experts (TADE)를 제안한다. 이 방법은 훈련 중에 스킬이 다양화된 전문가들을 훈련시키고, 테스트 시 자기지도 학습을 통해 동적으로 전문가들을 통합한다. 이는 테스트 분포가 매우 비균형일 경우에도 오직 세 명의 전문가로도 최첨단 성능을 달성하며, 사전 지식 없이도 알려지지 않은 테스트 클래스 분포를 효과적으로 시뮬레이션한다.

ABSTRACT

Existing long-tailed recognition methods, aiming to train class-balanced models from long-tailed data, generally assume the models would be evaluated on the uniform test class distribution. However, practical test class distributions often violate this assumption (e.g., being long-tailed or even inversely long-tailed), which would lead existing methods to fail in real-world applications. In this work, we study a more practical task setting, called test-agnostic long-tailed recognition, where the training class distribution is long-tailed while the test class distribution is unknown and can be skewed arbitrarily. In addition to the issue of class imbalance, this task poses another challenge: the class distribution shift between the training and test samples is unidentified. To handle this task, we propose a new method, called Test-time Aggregating Diverse Experts, that presents two solution strategies: (1) a new skill-diverse expert learning strategy that trains diverse experts to excel at handling different class distributions from a single long-tailed training distribution; (2) a novel test-time expert aggregation strategy that leverages self-supervision to aggregate multiple experts for handling various unknown test distributions. We theoretically show that our method has a provable ability to simulate the test class distribution. Extensive experiments verify that our method achieves new state-of-the-art performance on both vanilla and test-agnostic long-tailed recognition, where only three experts are sufficient to handle arbitrarily varied test class distributions. Code is available at https://github.com/Vanint/TADE-AgnosticLT.

연구 동기 및 목표

• 기존의 장기적 인식 방법이 균일한 테스트 클래스 분포를 가정하는 한계를 해결하기 위해.
• 장기적 훈련 데이터를 기반으로 테스트 시 클래스 분포 이탈이 알려지지 않은 경우의 과제를 해결하기 위해.
• 테스트 분포에 대한 사전 지식 없이도 어떤 비균형 테스트 분포에도 적응적으로 대처할 수 있는 방법을 개발하기 위해.
• 클래스 불균형이 예측 불가능한 실생활 테스트 조건에서 강건한 인식 성능을 달성하기 위해.

제안 방법

• 스킬이 다양화된 전문가 학습 전략은 단일 장기적 훈련 분포에서 여러 전문가를 훈련시켜, 각 전문가는 서로 다른 클래스 분포 특성에 특화된다.
• 전문가들은 특정 유형의 클래스 불균형을 처리하도록 특화되어 있어, 다양한 테스트 시 분포로 일반화할 수 있다.
• 테스트 시 전문가 통합 메커니즘은 입력 특징에 기반해 자기지도 학습을 통해 동적으로 여러 전문가를 통합하여 알려지지 않은 테스트 분포에 적응한다.
• 자기지도 학습은 레이블이 없는 테스트 데이터를 요구하지 않고도 전문가의 선택과 가중치 조정을 안내한다.
• 이론적으로 전문가 앙상블 동역학을 통해 알려지지 않은 테스트 클래스 분포를 시뮬레이션할 수 있음을 증명한다.
• 이 프레임워크는 다양한 테스트 분포 이탈에 대해 강력한 성능을 달성하기 위해 오직 세 명의 전문가만을 요구한다.

실험 결과

연구 질문

• RQ1 장기적 분포에서 훈련된 모델이 테스트 분포에 대한 사전 지식 없이도 알려지지 않은 임의의 테스트 시 클래스 분포로 일반화할 수 있는가?
• RQ2 단일 장기적 훈련 세트에서부터 다양한 잠재적 테스트 분포 이탈을 커버할 수 있도록 효과적으로 다양한 전문가를 훈련하는 방법은 무엇인가?
• RQ3 테스트 레이블에 접근할 수 없음에도 불구하고 자기지도 테스트 시 통합이 인식 성능 향상에 기여할 수 있는가?
• RQ4 다양한 테스트 분포에서 강력한 성능을 달성하기 위해 필요한 최소 전문가 수는 얼마인가?
• RQ5 제안된 방법이 분포 이탈 하에서 테스트 분포를 증명 가능하게 시뮬레이션할 수 있는가?

주요 결과

• 제안된 방법은 표준 및 테스트 무관 장기적 인식 벤치마크에서 최첨단 성능을 달성한다.
• 오직 세 명의 전문가로도 임의로 비균형화된 테스트 분포를 처리할 수 있어 이전 방법들에 비해 복잡도를 크게 감소시킨다.
• 극단적인 테스트 시 클래스 분포 이탈, 예를 들어 반전 장기적 및 매우 비균형 분포에서도 강력한 일반화 성능를 보여준다.
• 자기지도 테스트 시 통합은 테스트 레이블에 접근할 수 없음에도 불구하고 정확한 전문가 가중치 조정을 가능하게 하여 강건성을 향상시킨다.
• 이론적 분석을 통해 전문가 앙상블 동역학을 통해 알려지지 않은 테스트 클래스 분포를 증명 가능하게 시뮬레이션할 수 있음을 확인한다.
• 실증 결과는 다양한 데이터셋과 평가 프로토콜에서 일관된 성능 향상을 보여주며, 이 방법의 효과성을 검증한다.