[논문 리뷰] Class Rectification Hard Mining for Imbalanced Deep Learning

Qi Dong, Shaogang Gong외 1명|arXiv (Cornell University)|2017. 12. 08.

Imbalanced Data Classification Techniques참고 문헌 39인용 수 11

한 줄 요약

이 논문은 극도로 불균형한 클래스 분포를 가진 X-Domain 및 CelebA 데이터셋에서 다중 레이블 인물 속성 인식을 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크인 Class Rectification Loss (CRL)을 제안한다. 소수 클래스의 양성 및 음성 샘플에 대해 배치 기반으로 점진적인 하드 샘플 마이닝을 수행하고 CRL 정규화 손실을 적용함으로써 희귀 속성에 대한 학습을 향상시킨다. 이로 인해 X-Domain 데이터셋에서는 SOTA 대비 평균 정확도가 4% 향상되었고, CelebA에서는 2% 향상되었으며, 학습 속도는 3배 이상 빠르다.

ABSTRACT

Recognising detailed facial or clothing attributes in images of people is a challenging task for computer vision, especially when the training data are both in very large scale and extremely imbalanced among different attribute classes. To address this problem, we formulate a novel scheme for batch incremental hard sample mining of minority attribute classes from imbalanced large scale training data. We develop an end-to-end deep learning framework capable of avoiding the dominant effect of majority classes by discovering sparsely sampled boundaries of minority classes. This is made possible by introducing a Class Rectification Loss (CRL) regularising algorithm. We demonstrate the advantages and scalability of CRL over existing state-of-the-art attribute recognition and imbalanced data learning models on two large scale imbalanced benchmark datasets, the CelebA facial attribute dataset and the X-Domain clothing attribute dataset.

연구 동기 및 목표

• 웹에서 수집한 대규모 이미지 데이터셋에서 인물 속성 인식을 위한 극도로 불균형한 클래스 분포 문제를 해결하기 위해.
• 과도한 샘플링, 다운샘플링, 비용 감안 학습과 같은 기존 방법들이 과적합 또는 데이터 손실 문제를 야기하는 한계를 극복하기 위해.
• 수작업 특징에 의존하지 않고 소수 클래스 속성에 대한 표현 학습을 명시적으로 향상시키는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 각 학습 배치 내에서 소수 클래스의 하드 샘플에 집중함으로써 대규모 불균형 데이터셋에서 확장 가능하고 점진적인 학습을 가능하게 하기 위해.
• X-Domain 및 CelebA와 같은 극도로 불균형한 벤치마크에서 기존 SOTA 모델을 초월하는 정확도와 학습 효율성을 확보하기 위해.

제안 방법

• 이 방법은 각 학습 반복 과정에서 소수 클래스 속성의 하드 양성 및 하드 음성 샘플에만 집중하는 배치 기반 점진적 하드 마이닝을 적용한다.
• 소수 클래스의 경계에 특징 표현을 명시적으로 정렬함으로써 모델 최적화를 정규화하는 새로운 Class Rectification Loss (CRL)을 도입한다.
• CRL은 인스턴스 수준의 하드 마이닝을 사용하며, 특징 마진 기반으로 각 배치에서 가장 어려운 샘플을 선택함으로써 희귀 속성에 대한 일반화 능력을 향상시킨다.
• 손실 함수는 전체 데이터셋 크기와 독립적이므로 매우 대규모 불균형 데이터에 대한 확장성을 보장한다.
• 특징 학습과 다중 레이블 분류를 엔드 투 엔드 방식으로 통합하여 특징과 분류기의 별도 최적화를 방지한다.
• 공유된 컨볼루션 계층과 각 속성에 대해 개별적인 완전 연결 브랜치를 갖춘 다중 브랜치 네트워크 아키텍처를 사용하여 다중 작업 학습을 구현한다.

실험 결과

연구 질문

• RQ1 소수 클래스 샘플에 대해 배치 기반 점진적 하드 마이닝이 극도로 불균형한 인물 속성 데이터셋에서 딥 러닝 성능 향상에 기여하는가?
• RQ2 제안된 Class Rectification Loss (CRL)은 기존의 손실 함수 및 데이터 재샘플링 전략과 비교해 다수 클래스에 대한 편향을 어떻게 완화하는가?
• RQ3 X-Domain와 같이 불균형 비율이 최대 1:4,162에 이르는 매우 대규모 불균형 데이터셋에 대해 CRL 프레임워크는 얼마나 잘 확장되는가?
• RQ4 인스턴스 수준의 하드 마이닝이 클래스 수준의 하드 마이닝보다 소수 클래스 인식 정확도 향상에 더 효과적인가?
• RQ5 벤치마크 데이터셋에서 LMLE 및 MTCT와 같은 기존 SOTA 모델과 비교해 CRL 모델은 성능과 학습 속도에서 어떤가?

주요 결과

• 인스턴스 수준 하드 마이닝과 상대적 손실을 사용하는 최고 성능 버전인 CRL(I)은 X-Domain 데이터셋에서 기준 모델인 MTCT 대비 평균 정확도 6.13% 향상되었다.
• X-Domain 벤치마크에서 CRL(I)는 SOTA 모델인 LMLE를 평균 정확도 4% 향상시켜 극도로 불균형한 데이터에서 뚜렷한 우월성을 입증했다.
• CelebA 데이터셋에서는 CRL(I)가 기준 모델 대비 5.85% 정확도 향상되었으며, 더 불균형한 속성일수록 성능 격차가 더욱 커졌다.
• CRL(C)와 CRL(I)은 극도로 불균형한 '소매 모양' 속성에서 각각 8%와 7%의 정확도 향상을 기록했으며, LMLE의 2% 향상보다 뛰어났다.
• CRL 모델는 성능이 더 뛰어난 데도 불구하고 LMLE 모델보다 학습 속도가 3배 이상 빠르며, 이는 높은 학습 효율성을 의미한다.
• 인스턴스 수준 하드 마이닝과 상대적 손실의 조합(CRL(I+R))이 가장 우수한 성능을 보였으며, X-Domain에서 6.13% 향상, CelebA에서 5.85% 향상되었으며, 이는 극도로 불균형한 환경에서의 효과성을 확인한다.