[논문 리뷰] MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition

Shuang Li, Kaixiong Gong외 4명|arXiv (Cornell University)|2021. 03. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 17

한 줄 요약

MetaSAug는 장기적 분포 시각 인식을 위한 의미적 데이터 증강을 최적화하기 위해 메타학습 프레임워크를 제안한다. 이는 딥 특징 공간에서 클래스별 공분산 행렬을 동적으로 학습함으로써, 균형 잡힌 검증 세트에서의 검증 손실을 최소화함으로써 소수 클래스에 대해 더 의미 있고 다양한 증강을 생성한다. 이로 인해 CIFAR-LT, ImageNet-LT, iNaturalist 벤치마크에서 분류 정확도가 크게 향상된다.

ABSTRACT

Real-world training data usually exhibits long-tailed distribution, where several majority classes have a significantly larger number of samples than the remaining minority classes. This imbalance degrades the performance of typical supervised learning algorithms designed for balanced training sets. In this paper, we address this issue by augmenting minority classes with a recently proposed implicit semantic data augmentation (ISDA) algorithm, which produces diversified augmented samples by translating deep features along many semantically meaningful directions. Importantly, given that ISDA estimates the class-conditional statistics to obtain semantic directions, we find it ineffective to do this on minority classes due to the insufficient training data. To this end, we propose a novel approach to learn transformed semantic directions with meta-learning automatically. In specific, the augmentation strategy during training is dynamically optimized, aiming to minimize the loss on a small balanced validation set, which is approximated via a meta update step. Extensive empirical results on CIFAR-LT-10/100, ImageNet-LT, and iNaturalist 2017/2018 validate the effectiveness of our method.

연구 동기 및 목표

• 소수 클래스가 부족한 장기적 데이터 분포에서 학습된 딥 러닝 모델의 성능 저하 문제를 해결한다.
• ISDA와 같은 기존 의미적 증강 방법의 한계를 극복한다. 이는 소수 클래스에 대해 신뢰할 수 있는 공분산 추정을 위한 충분한 데이터가 부족해 성능이 떨어지기 때문이다.
• 딥 특징 공간에서 효과적이고 클래스별로 특화된 의미적 방향을 자동으로 학습하는 메타학습 기반 접근법을 개발한다.
• 백본 네트워크를 수정하거나 아키텍처 변경 없이도 소수 클래스의 일반화 능력과 정확도를 향상시킨다.
• 플러그인 증강 모듈로써 기존의 장기적 분포 학습 방법(예: 포칼 손실, LDAM)과의 호환성과 상호보완성을 확보한다.

제안 방법

• 클래스별 공분산 행렬을 의미적 데이터 증강을 최적화하기 위해 메타학습을 사용한다. 목적은 작은 균형 잡힌 검증 세트에서의 검증 손실을 최소화하는 것이다.
• 각 학습 단계에서 현재 공분산 행렬을 사용해 데이터 증강을 수행한 후, 검증 손실을 계산하여 메타 업데이트 단계를 통해 공분산 행렬을 갱신한다.
• 암묵적 의미적 데이터 증강(ISDA) 기법을 활용해 딥 특징을 의미적으로 유의미한 방향으로 이동시키지만, 희소한 소수 클래스 데이터로부터 추정하는 대신 메타최적화를 통해 이 방향을 학습한다.
• 학습 파이프라인에 학습된 공분산 행렬을 통합하여 부족한 클래스에 대해 다양하고 의미적으로 일관된 증강 샘플을 생성한다.
• 메타학습 목적을 이중 최적화 문제로 공식화한다. 내부 루프는 증강된 데이터로 모델 학습을 수행하고, 외부 루프는 검증 오차를 최소화하기 위해 공분산 행렬을 갱신한다.
• 포칼 손실 및 LDAM과 같은 기존 손실 함수와 호환성을 유지하기 위해 MetaSAug를 플러그인 증강 모듈로 적용한다.

실험 결과

연구 질문

• RQ1 메타학습을 사용하여 장기적 분포 시각 인식에서 클래스별 의미적 방향을 효과적으로 학습할 수 있는가?
• RQ2 메타최적화를 통해 공분산 행렬을 학습하는 것이 고정 또는 데이터 추정 공분산 행렬보다 소수 클래스에서 성능을 더 좋게 하는가?
• RQ3 MetaSAug는 최신 기술 대비 장기적 분포 벤치마크에서 분류 정확도를 얼마나 향상시키는가?
• RQ4 MetaSAug는 기존의 장기적 분포 학습 기법(예: 포칼 손실, LDAM)과 어떻게 상호작용하며 향상시키는가?
• RQ5 MetaSAug는 다양한 백본 네트워크와 장기적 분포 데이터셋에서 강건하고 효과적인가?

주요 결과

• iNaturalist 2018에서 MetaSAug는 상위 1 오차율 31.25%를 기록했으며, 이는 이전 최고 성능 방법(메타-클래스-웨이트)보다 1.20% 포인트 우수하다.
• 불균형 요인 200인 CIFAR-LT-10에서 MetaSAug는 상위 1 오차율을 12.36%로 낮춰 ISDA 및 메타-웨이팅 기반 베이스라인을 크게 능가한다.
• ImageNet-LT에서 ResNet-152를 사용할 경우 MetaSAug는 상위 1 오차율 49.97%를 달성했으며, LDAM-DRW(52.86%)와 MCW(53.18%)를 2.5% 포인트 이상 뛰어넘었다.
• 제거 실험 결과, 재가중 및 메타학습 구성 요소가 모두 필수적임을 확인했으며, CIFAR-LT-10에서 둘 중 하나를 제거하면 성능이 2% 이상 저하된다.
• 시각화 결과, MetaSAug는 '트럭'과 같은 가장 희귀한 클래스에 대해서도 의미적으로 유의미한 증강 샘플을 성공적으로 생성했으며, 클래스 정체성을 유지하면서 외관을 변화시켰다.
• 혼동 행렬 분석 결과, MetaSAug는 유사한 소수 클래스 간의 오분류를 크게 감소시켰다(예: 트럭과 자동차), 이는 향상된 특징 구분 능력을 의미한다.