[논문 리뷰] Feature Space Augmentation for Long-Tailed Data

Peng Chu, Xiao Bian외 2명|arXiv (Cornell University)|2020. 08. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 13

한 줄 요약

이 논문은 장수분포 데이터에 대해, 딥 페처 스페이스에서 부족한(꼬리) 클래스의 클래스별 특징과 잘 알려진(머리) 클래스의 클래스 일반 특징을 융합하여 합성 샘플을 생성하는 특징 공간 증강(FSA) 방법을 제안한다. 고수준 네트워크 레이어에서 클래스 활성화 맵(CAM)을 활용해 특징을 분리하고 재결합함으로써, FSA는 꼬리 클래스에서의 모델 일반화 성능을 향상시켜 CIFAR-LT, ImageNet-LT, Places-LT 및 iNaturalist 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Real-world data often follow a long-tailed distribution as the frequency of each class is typically different. For example, a dataset can have a large number of under-represented classes and a few classes with more than sufficient data. However, a model to represent the dataset is usually expected to have reasonably homogeneous performances across classes. Introducing class-balanced loss and advanced methods on data re-sampling and augmentation are among the best practices to alleviate the data imbalance problem. However, the other part of the problem about the under-represented classes will have to rely on additional knowledge to recover the missing information. In this work, we present a novel approach to address the long-tailed problem by augmenting the under-represented classes in the feature space with the features learned from the classes with ample samples. In particular, we decompose the features of each class into a class-generic component and a class-specific component using class activation maps. Novel samples of under-represented classes are then generated on the fly during training stages by fusing the class-specific features from the under-represented classes with the class-generic features from confusing classes. Our results on different datasets such as iNaturalist, ImageNet-LT, Places-LT and a long-tailed version of CIFAR have shown the state of the art performances.

연구 동기 및 목표

• 꼬리 클래스에 충분한 학습 샘플이 부족하여 성능이 저하되는 장수분포 데이터셋에서 딥 러닝 모델의 성능 저하 문제를 해결한다.
• 꼬리 클래스가 심각하게 부족한 경우 전통적인 데이터 증강 기법과 클래스 밸런싱 손실 함수의 한계를 극복한다.
• 머리 클래스의 지식을 활용해 특징 공간을 조작함으로써 꼬리 클래스의 누락된 분포 정보를 복구한다.
• 학습 중에 고수준 특징 공간에서 새로운, 현실적인 샘플을 생성하는 엔드 투 엔드 학습 파이프라인을 개발한다.

제안 방법

• 클래스 활성화 맵(CAM)을 사용해 각 클래스의 딥 페처를 클래스 일반 특징과 클래스 특정 특징으로 분해한다.
• 각 꼬리 클래스 샘플에 대해, 그 클래스 특정 특징과 혼동 가능한 머리 클래스의 일반 특징을 혼합하여 고수준 특징을 증강한다.
• 최종 잔차 블록 이후의 고수준 특징 스페이스에서 특징 융합을 수행함으로써 공간적 구조를 유지하고 선형 표현의 이점을 누린다.
• 두 단계 학습 전략을 사용한다: 균형 임의 샘플링을 통한 사전 학습 및 온라인 특징 공간 증강 샘플을 통한 미세조정.
• 충분한 일반 특징 표현을 확보하기 위해 비율 임계값(hr ≥ 0.9) 기반으로 머리 클래스를 동적으로 선택한다.
• ResNet에서 네 번째 잔차 블록 이후에 증강을 적용하여 공간 노이즈를 최소화하고 고수준 특징의 선형성 이점을 극대화한다.

실험 결과

연구 질문

• RQ1 머리 클래스의 클래스 일반 특징가 부족한 꼬리 클래스의 누락된 분포 정보를 효과적으로 복구할 수 있는가?
• RQ2 딥 페처 스페이스에서 꼬리 클래스의 특정 특징과 머리 클래스의 일반 특징을 융합하면 의미 있고 일반화 가능한 샘플을 생성할 수 있는가?
• RQ3 머리 클래스 비율(hr)의 선택이 꼬리 클래스 일반화 성능에 어떤 영향을 미치는가?
• RQ4 어느 네트워크 깊이에서 특징 공간 증강이 장수분포 학습에 가장 효과적인가?
• RQ5 기존 최신 기술 기반 접근법인 클래스 밸런싱 손실 및 포칼 손실보다 이 방법이 실제 장수분포 데이터셋에서 더 우수한 성능을 낼 수 있는가?

주요 결과

• iNaturalist 2017에서 제안된 방법은 ResNet-152를 사용해 상위-1 정확도 66.58%를 기록했으며, 이는 클래스 밸런싱 손실을 사용한 이전 최신 기술(64.75%)을 초월한다.
• iNaturalist 2018에서 이 방법은 ResNet-152를 사용해 상위-1 정확도 69.08%를 달성했으며, 이는 이전 최신 기술(66.97%)을 능가한다.
• 모든 데이터셋에서 최적의 머리 클래스 비율(hr)은 약 0.95로 확인되었으며, 이는 충분한 일반 특징 추출과 적절한 꼬리 클래스 커버리지 사이의 균형을 이룬다.
• 네 번째 잔차 블록 이후에 특징 증강을 적용할 경우 성능이 가장 높았으며, 이는 공간 노이즈를 최소화하고 고수준 특징의 선형성을 최대한 활용하기 때문이다.
• 제거 실험을 통해 특징 공간 증강이 꼬리 클래스 성능을 크게 향상시킴을 확인했으며, 베이스라인 및 증강 없음 설정 대비 뚜렷한 성능 향상이 관찰되었다.