[논문 리뷰] Dynamic Curriculum Learning for Imbalanced Data Classification

Yiru Wang, Weihao Gan외 3명|arXiv (Cornell University)|2019. 01. 21.

Imbalanced Data Classification Techniques참고 문헌 57인용 수 33

한 줄 요약

Dynamic Curriculum Learning (DCL)을 두 수준 일정관리자와 함께 도입하여 샘플링과 손실 가중치를 불균형 데이터에 맞추어 적응시키고, CelebA와 RAP에서 최첨단 성능을 달성한다.

ABSTRACT

Human attribute analysis is a challenging task in the field of computer vision, since the data is largely imbalance-distributed. Common techniques such as re-sampling and cost-sensitive learning require prior-knowledge to train the system. To address this problem, we propose a unified framework called Dynamic Curriculum Learning (DCL) to online adaptively adjust the sampling strategy and loss learning in single batch, which resulting in better generalization and discrimination. Inspired by the curriculum learning, DCL consists of two level curriculum schedulers: (1) sampling scheduler not only manages the data distribution from imbalanced to balanced but also from easy to hard; (2) loss scheduler controls the learning importance between classification and metric learning loss. Learning from these two schedulers, we demonstrate our DCL framework with the new state-of-the-art performance on the widely used face attribute dataset CelebA and pedestrian attribute dataset RAP.

연구 동기 및 목표

• 인간 속성 분석에서 불균형 데이터 문제를 동기 부여하고 해결한다.
• 학습 중 샘플링과 손실 강조를 적응시키는 unified curriculum-learning 프레임워크를 제안한다.
• 교차 엔트로피와 메트릭 학습의 결합이 판별력을 향상시킴을 보여준다.
• 두 스케줄러가 불균형 학습에서 균형 학습으로 점진적으로 전환하면서 표현 학습의 중요성을 강조하도록 한다.
• CelebA와 RAP 벤치마크에서 기존 방법과 비교하여 성능을 검증한다.

제안 방법

• 두 수준의 커리큘럼 스케줄러를 정의한다: 샘플링 스케줄러는 배치 데이터를 불균형에서 균형으로, 쉬운 샘플에서 어려운 샘플로 이동시킨다; 손실 스케줄러는 분류 손실과 메트릭 학습 손실의 균형을 맞춘다.
• 대상 분포를 기반으로 클래스별 재가중을 적용하는 Dynamic Selective Learning (DSL) 손실을 도입한다.
• 임베딩 학습의 안정화를 위해 Easy Anchors를 사용하는 Triplet Loss를 포함하는 메트릭 학습 구성요소를 도입한다.
• 학습이 진행됨에 따라 메트릭 학습에서 분류로의 강조를 점진적으로 옮기기 위한 Loss Scheduler f(l)을 설계한다 (L_DCL = L_DSL + f(l)*L_TEA).
• 기존의 불균형 학습 방법들이 서로 다른 스케줄러 구성을 통해 DCL로 매핑되는 일반 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 동적 커리큘럼 스케줄링이 불균형 속성 분류 작업에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 샘플링 구성요소와 손실 구성요소를 어떻게 스케줄링해야 표현 학습과 분류 정확도 모두를 극대화할 수 있는가?
• RQ3 Easy anchors를 가진 메트릭 학습 구성요소가 임베딩을 안정시켜 최종 판별력을 높이는가?
• RQ4 다른 불균형 레벨에서 CelebA와 RAP에 대한 DCL의 성능은 최첨단 방법과 비교하여 어떤가?

주요 결과

• DCL은 CelebA에서 평균 정확도를 향상시키며 여러 베이스라인 및 최첨단 방법을 능가하고, 특히 불균형이 높은 속성에서 의미 있는 이득을 보인다.
• RAP에서 DCL은 LG-Net 등의 기존 방법을 능가하며, 특히 더 높은 불균형 비율(1:x)에서 두드러진 성과를 보인다.
• 제거적 분석은 샘플링 스케줄러, Easy-Attachment Triplet Loss, 그리고 Loss Scheduler가 각각 성능 향상에 기여함을 보여준다.
• 스케줄러 선택은 중요하며, 볼록 샘플링과 복합 손실 스케줄이 선형 또는 단순 스케줄보다 더 나은 결과를 낳는다.
• DCL은 CelebA와 RAP를 넘어 CIFAR-100에서도 개선을 달성하는 등 일반화된다.