[논문 리뷰] Pure Noise to the Rescue of Insufficient Data: Improving Imbalanced Classification by Training on Random Noise Images

Shiran Zada, Itay Benou외 1명|arXiv (Cornell University)|2021. 12. 16.

COVID-19 diagnosis using AI인용 수 11

한 줄 요약

이 논문은 실제 데이터와 함께 순수한 랜덤 노이즈 이미지를 사용하여 깊이 신경망을 훈련시는 간단하면서도 효과적인 방법인 OPeN을 제안한다. 분포 인식 라우팅 배치 정규화(DAR-BN)라는 새로운 레이어를 통해 자연 이미지와 노이즈 간의 분포 이탈을 완화함으로써 일반화 능력을 크게 향상시키고, CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, CelebA-5와 같은 장긴 꼬리 기반 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Despite remarkable progress on visual recognition tasks, deep neural-nets still struggle to generalize well when training data is scarce or highly imbalanced, rendering them extremely vulnerable to real-world examples. In this paper, we present a surprisingly simple yet highly effective method to mitigate this limitation: using pure noise images as additional training data. Unlike the common use of additive noise or adversarial noise for data augmentation, we propose an entirely different perspective by directly training on pure random noise images. We present a new Distribution-Aware Routing Batch Normalization layer (DAR-BN), which enables training on pure noise images in addition to natural images within the same network. This encourages generalization and suppresses overfitting. Our proposed method significantly improves imbalanced classification performance, obtaining state-of-the-art results on a large variety of long-tailed image classification datasets (CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, Places-LT, and CelebA-5). Furthermore, our method is extremely simple and easy to use as a general new augmentation tool (on top of existing augmentations), and can be incorporated in any training scheme. It does not require any specialized data generation or training procedures, thus keeping training fast and efficient.

연구 동기 및 목표

• 소수 클래스에 매우 적은 샘플이 존재할 때 특히 일반화 능력이 떨어지는 문제를 해결하기 위해, 극도로 불균형한 데이터셋에서 훈련된 딥 러닝 모델의 일반화 능력을 향상시키는 것.
• 재가중 및 재샘플링과 같은 기존 방법의 한계를 극복하기 위해, 이는 종종 과적합이나 정보 손실을 초래함.
• 이전에는 쓸모없는 것으로 간주되었던 순수한 랜덤 노이즈 이미지가, 모델의 강건성과 일반화 능력을 향상시키기 위한 효과적인 데이터 증강 기법이 될 수 있는지 탐색하기.
• 자연 이미지와 순수한 노이즈 이미지 간의 분포 이탈을 다루기 위해, 두 데이터 도메인에서 안정적인 훈련을 가능하게 하는 새로운 정규화 기법 개발하기.

제안 방법

• 각 클래스에 대해 빈도에 반비례하는 수의 순수한 랜덤 노이즈 이미지를 훈련 세트에 추가하는 OPeN(순수한 노이즈 이미지로의 오버샘플링)을 도입한다.
• 자연 이미지와 순수한 노이즈 이미지에 대해 별도의 정규화 통계를 적용하는 분포 인식 라우팅 배치 정규화(DAR-BN)라는 새로운 배치 정규화 레이어를 제안한다.
• 자연 이미지 활성화에서 학습된 애피니티 파rameter(gamma 및 beta)를 사용하여 노이즈 이미지 활성화를 변환함으로써 일관된 스케일링과 이동을 보장한다.
• 표준 교차 엔트로피 손실을 사용하여 실제 이미지와 순수한 노이즈 이미지를 포함한 혼합 배치로 모델을 훈련시키며, 노이즈는 훈련 세트의 평균과 분산을 갖는 가우시안 분포에서 샘플링된다.
• 기존 데이터 증강 파ip라인과 호환되는 플러그인 방식의 증강 기법으로 OPeN을 통합하여, 표준 배치 정규화(BN)를 DAR-BN로 대체하는 것 외에는 훈련 절차에 변화가 없도록 한다.
• 각 훈련 배치에서 노이즈 대 실제 비율을 1:4로 설정하여 네트워크가 과도하게 영향을 받지 않도록 하면서도 충분한 노이즈 표현 확보

실험 결과

연구 질문

• RQ1 장긴 꼬리 데이터셋에서 소수 클래스에 대해 순수한 랜덤 노이즈 이미지로 훈련하는 것이 일반화 능력을 향상시킬 수 있는가?
• RQ2 자연 이미지와 순수한 노이즈 이미지 간의 분포 이탈이 모델 훈련을 방해하는가, 그리고 이를 효과적으로 완화할 수 있는가?
• RQ3 기존 최신 기술 성능(SOTA) 방법과 비교했을 때 OPeN은 불균형 이미지 분류 벤치마크에서 정확도와 강건성 측면에서 어떤가?
• RQ4 순수한 노이즈 이미지가 불균형 설정 외의 맥락에서도 일반적인 데이터 증강 기법으로 활용될 수 있는가?
• RQ5 제안된 DAR-BN 레이어는 자연 이미지와 노이즈 이미지라는 두 가지 서로 다른 데이터 도메인을 동일한 네트워크에서 안정적으로 훈련시키는 데 효과적인가?

주요 결과

• OPeN은 CIFAR-10-LT(IR=100)에서 84.64%의 정확도를 기록하며 표준 BN보다 3.2% 높은 최신 기술 성능을 달성한다.
• CIFAR-100-LT(IR=100)에서는 51.50%의 정확도를 기록하여 표준 BN보다 2.3% 높고, 보조 BN보다 1.37% 높다.
• 일반적인 증강 기법으로 사용했을 경우, 기준 증강 기법 대비 CIFAR-10에서 +2.38%, CIFAR-100에서 +6.34% 향상되었으며, AutoAugment 대비 각각 +0.9%와 +1.5% 향상되었다.
• 절단 실험을 통해 DAR-BN가 표준 BN과 보조 BN보다 뚜렷이 뛰어난 성능을 보이며 도메인 이탈을 다루는 데의 효과성을 입증했다.
• 이 방법은 단순하고 효율적이며, 특수한 데이터 생성 또는 훈련 절차가 필요 없고, 기존의 모든 훈련 파이프라인에 쉽게 통합할 수 있다.
• OPeN의 성공은 순수한 노이즈가 균형 잡힌 데이터셋에서도 일반화 능력을 향상시키는 데 효과적인, 아직 충분히 활용되지 않은 강력한 데이터 증강 형태임을 시사한다.