[논문 리뷰] Deep Long-Tailed Learning: A Survey

Yifan Zhang, Bingyi Kang외 3명|arXiv (Cornell University)|2021. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 166인용 수 79

한 줄 요약

깊은 롱테일 학습에 대한 포괄적 고찰로, 방법을 클래스 재균형화, 정보 증강, 모듈 개선으로 체계화하고 평가를 위한 새로운 상대 정확도 지표를 도입한다.

ABSTRACT

Deep long-tailed learning, one of the most challenging problems in visual recognition, aims to train well-performing deep models from a large number of images that follow a long-tailed class distribution. In the last decade, deep learning has emerged as a powerful recognition model for learning high-quality image representations and has led to remarkable breakthroughs in generic visual recognition. However, long-tailed class imbalance, a common problem in practical visual recognition tasks, often limits the practicality of deep network based recognition models in real-world applications, since they can be easily biased towards dominant classes and perform poorly on tail classes. To address this problem, a large number of studies have been conducted in recent years, making promising progress in the field of deep long-tailed learning. Considering the rapid evolution of this field, this paper aims to provide a comprehensive survey on recent advances in deep long-tailed learning. To be specific, we group existing deep long-tailed learning studies into three main categories (i.e., class re-balancing, information augmentation and module improvement), and review these methods following this taxonomy in detail. Afterward, we empirically analyze several state-of-the-art methods by evaluating to what extent they address the issue of class imbalance via a newly proposed evaluation metric, i.e., relative accuracy. We conclude the survey by highlighting important applications of deep long-tailed learning and identifying several promising directions for future research.

연구 동기 및 목표

• 롱테일 클래스 분포에서 딥모델을 학습하는 데 따른 도전 과제 요약.
• 기존의 깊은 롱테일 학습 방법을 세 가지 주요 범주와 아홉 개의 하위 범주로 분류한다.
• 새로운 평가 지표(상대 정확도)를 이용한 실증 분석 프레임워크를 제공하여 방법들이 불균형을 어떻게 다루는지 평가한다.
• 실제 응용 사례를 강조하고 향후 연구를 위한 유망 방향을 제시한다.

제안 방법

• 세 가지 주요 범주로 기존 방법을 조직하고 검토한다: 클래스 재균형화, 정보 증강, 모듈 개선.
• 클래스 재균형화 내에서 재샘플링, 클래스 민감 학습, 로짓 보정을 다룬다.
• 전이 학습 및 데이터 증강을 포함한 정보 증강을 검토한다.
• 표현 학습, 분류기 설계, 분리된 학습, 앙상블 학습 등 모듈 개선 접근법을 다룬다.
• 새로운 평가 지표인 상대 정확도를 제안하고 적용하여 최첨단 방법을 분석한다.

실험 결과

연구 질문

• RQ1 기존의 깊은 롱테일 학습 방법이 헤드(head), 미드(mid), 테일(tail) 클래스 간의 불균형 분포를 어떻게 완화하는가?
• RQ2 세 가지 큰 범주(재균형화, 증강, 모듈 개선) 내에서 테일 클래스에 가장 큰 개선을 이끄는 핵심 기술은 무엇인가?
• RQ3 제안된 상대 정확도 지표로 평가했을 때 현재 방법의 효과는 얼마나 되는가?
• RQ4 이 방법들의 실제적 영향과 한계를 보여주는 데이터셋과 응용 사례는 무엇인가?
• RQ5 깊은 롱테일 학습을 발전시키기 위해 가장 유망한 미래 방향과 새로운 작업 설정은 무엇인가?

주요 결과

• 2021년 중반까지의 깊은 롱테일 학습에 대한 최초의 포괄적 고찰을 제공한다.
• 고급 방법에 대한 심층 리뷰와 불균형 처리 능력을 평가하기 위한 상대 정확도 지표를 이용한 실증 분석을 제시한다.
• 방법 혁신을 위한 네 가지 잠재적 방향과 향후 연구를 위한 여덟 가지 새로운 작업 설정을 식별한다.
• 세부 분야의 응용 사례와 미세하지만 불균형한 시각 작업에서 기존 접근법의 한계를 논의한다.