[논문 리뷰] On Feature Normalization and Data Augmentation

Boyi Li, Felix Wu외 3명|arXiv (Cornell University)|2020. 02. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 90인용 수 28

한 줄 요약

이 논문은 딥러닝 일반화를 향상시키기 위해 훈련 중에 이미지 간의 특징 모멘트(평균 및 분산)를 교환하면서 레이블을 선형 보간하는 새로운 특징 공간 데이터 증강 방법인 Moment Exchange (MoEx)를 제안한다. MoEx는 모델이 정규화된 특징과 모멘트 통계량 양쪽에 주의를 기울이도록 유도하여, 외부 모델이나 복잡한 전처리 없이도 시각 및 음성 벤치마크 전반에서 정확도와 강건성을 일관되게 향상시킨다.

ABSTRACT

The moments (a.k.a., mean and standard deviation) of latent features are often removed as noise when training image recognition models, to increase stability and reduce training time. However, in the field of image generation, the moments play a much more central role. Studies have shown that the moments extracted from instance normalization and positional normalization can roughly capture style and shape information of an image. Instead of being discarded, these moments are instrumental to the generation process. In this paper we propose Moment Exchange, an implicit data augmentation method that encourages the model to utilize the moment information also for recognition models. Specifically, we replace the moments of the learned features of one training image by those of another, and also interpolate the target labels -- forcing the model to extract training signal from the moments in addition to the normalized features. As our approach is fast, operates entirely in feature space, and mixes different signals than prior methods, one can effectively combine it with existing augmentation approaches. We demonstrate its efficacy across several recognition benchmark data sets where it improves the generalization capability of highly competitive baseline networks with remarkable consistency.

연구 동기 및 목표

• 이미지 인식에서는 특징 모멘트가 기각되지만 이미지 생성에서는 활용되는 딥러닝의 이분법적 특성에 대비하기 위해.
• 인식 작업에서 모멘트 정보를 명시적으로 활용하도록 딥 네트워크를 유도하는 방법을 개발하여, 이를 잡음으로 간주하는 대신 의미 있는 신호로 활용하기 위해.
• 입력 공간 증강 기법과 상호 보완적인 특징 공간에서 작동하는 단순하고 빠르며 조합 가능한 데이터 증강 기법을 만들기 위해.
• 시각 및 음성 응용 분야의 다양한 데이터셋과 아키텍처에 걸쳐 모델의 일반화 및 강건성을 향상시키기 위해.

제안 방법

• MoEx는 미니배치 내 각 이미지의 첫 번째 네트워크 레이어 이후 채널을 기준으로 특징의 평균과 표준편차를 추출한다.
• 이러한 모멘트를 동일한 미니배치 내 다른 이미지 간에 교환하여 한 이미지의 모멘트 정보를 다른 이미지에 주입한다.
• 교환된 이미지의 타겟 레이블은 선형으로 보간되며, 이는 모델이 정규화된 특징과 교환된 모멘트 양쪽에서 학습하도록 유도한다.
• 이 방법은 순수하게 특징 공간에서 작동하므로, 자르기, 뒤집기, Mixup와 같은 입력 공간 증강 기법과 수직이다.
• 몇 줄의 코드로 간단히 구현 가능하며, 기존 증강 기법과 쉽게 조합할 수 있다.
• 이 방법은 일반화 가능하며, 모멘트 외에도 주성분과 같은 다른 통계량으로도 확장할 수 있다.

실험 결과

연구 질문

• RQ1 기존에 인식 모델에서 기각되던 특징 모멘트가 일반화를 향상시키기 위한 의미 있는 신호로 활용될 수 있는가?
• RQ2 훈련 중에 이미지 간 모멘트를 교환할 경우, 다양한 데이터셋과 아키텍처에서 모델의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 MoEx와 같이 특징 공간에서 작동하는 증강 기법이 기존 입력 공간 증강 기법과 효과적으로 조합될 수 있는가?
• RQ4 MoEx는 이미지 분류를 초월하여 음성 인식과 같은 후행 작업에서도 성능을 향상시키는가?
• RQ5 스타일 전이 기반 증강과 같이 데이터 분포를 명시적으로 수정하는 이전 방법들과 비교해 MoEx는 어떻게 성능을 내는가?

주요 결과

• MoEx는 11개의 다양한 시각 벤치마크에서 일관되게 상위-1 정확도를 향상시키며, Cutmix와 조합했을 때 ImageNet-A에서 최대 7.9%의 향상을 기록했다.
• ImageNet-A에서 MoEx와 Cutmix를 조합하면 AURRA가 8.5, RMS 교정 오차가 42.6로, Mixup 및 Cutout를 포함한 모든 베이스라인을 초월했다.
• Speech Commands 데이터셋에서 음성 인식 작업을 수행한 결과, 큰 모델에 적용했을 때 테스트 오차가 2.21%에서 1.98%로 감소하여, 시각 외 분야에서도 효과가 있음을 입증했다.
• 작은 모델에 다른 증강 기법과 조합했을 때도 강건성이 향상되지만, 매우 작은 아키텍처인 DenseNet-BC-100에서는 성능 향상 폭이 작다.
• MoEx는 매우 높은 조합 가능성을 보이며, Cutmix 및 Mixup와 같은 기존 기법과의 성능 향상이 누적되어, 상호 보완적이고 덧셈적인 개선 효과를 보였다.
• 제거 실험 결과, 위치 정규화에서 모멘트를 제거하면 성능이 떨어지므로, 모멘트가 의미 있는 구조적 정보를 담고 있음을 확인했다.