[논문 리뷰] A Unified Analysis of Mixed Sample Data Augmentation: A Loss Function Perspective

Chanwoo Park, Sangdoo Yun외 1명|arXiv (Cornell University)|2022. 08. 21.

Spectroscopy Techniques in Biomedical and Chemical Research인용 수 7

한 줄 요약

이 논문은 손실 함수 관점에서 혼합 샘플 데이터 증강(MSDA)에 대한 최초의 통합 이론적 분석을 제시하며, MSDA가 픽셀 수준의 정규화와 첫 번째 레이어 파라미터 정규화로 작용함을 밝혀낸다. 이를 바탕으로 Mixup과 CutMix의 장점을 결합하면서 최소한의 계산 비용으로도 CIFAR-100과 ImageNet에서 최신 기준을 초월하는 성능을 보이는 일반화된 확장인 HMix와 GMix를 제안한다.

ABSTRACT

We propose the first unified theoretical analysis of mixed sample data augmentation (MSDA), such as Mixup and CutMix. Our theoretical results show that regardless of the choice of the mixing strategy, MSDA behaves as a pixel-level regularization of the underlying training loss and a regularization of the first layer parameters. Similarly, our theoretical results support that the MSDA training strategy can improve adversarial robustness and generalization compared to the vanilla training strategy. Using the theoretical results, we provide a high-level understanding of how different design choices of MSDA work differently. For example, we show that the most popular MSDA methods, Mixup and CutMix, behave differently, e.g., CutMix regularizes the input gradients by pixel distances, while Mixup regularizes the input gradients regardless of pixel distances. Our theoretical results also show that the optimal MSDA strategy depends on tasks, datasets, or model parameters. From these observations, we propose generalized MSDAs, a Hybrid version of Mixup and CutMix (HMix) and Gaussian Mixup (GMix), simple extensions of Mixup and CutMix. Our implementation can leverage the advantages of Mixup and CutMix, while our implementation is very efficient, and the computation cost is almost neglectable as Mixup and CutMix. Our empirical study shows that our HMix and GMix outperform the previous state-of-the-art MSDA methods in CIFAR-100 and ImageNet classification tasks. Source code is available at https://github.com/naver-ai/hmix-gmix

연구 동기 및 목표

• 다양한 혼합 샘플 데이터 증강(MSDA) 전략, 예를 들어 Mixup과 CutMix가 모델 훈련에 미치는 영향을 이해하기 위한 통합 이론적 프레임워크를 제공하는 것.
• 손실 함수 관점에서 MSDA가 일반화와 적대적 내성 향상에 기여하는 이유를 설명하는 것.
• 픽셀 간 거리에 따른 기울기와 헤시안 정규화 측면에서 Mixup과 CutMix의 상이한 정규화 행동을 규명하는 것.
• Mixup과 CutMix의 장점을 결합하면서도 낮은 계산 오버헤드를 유지하는 일반화된 MSDA 방법을 개발하는 것.
• 제안된 방법인 HMix와 GMix가 ImageNet과 CIFAR-100에서 최신 기준 성능을 달성함을 경험적으로 검증하는 것.

제안 방법

• 입력 기울기와 헤시안, 그리고 첫 번째 레이어 파라미터의 정규화로서 MSDA의 영향을 유도함으로써 MSDA에 대한 통합 이론적 분석을 제안한다.
• 제어 파라미터를 사용해 스토케스틱한 방식으로 CutMix(자르고붙이기)와 Mixup(선형 보간)을 모두 적용하는 하이브리드 방법인 HMix를 도입한다.
• 두 샘플을 입력 공간 전역에서 부드럽게 보간할 수 있도록 가우시안 함수를 사용하는 GMix를 개발한다.
• 공간적 근접도와 마스크 크기를 바탕으로 HMix의 정규화 계수를 유도하며, 국소적 및 전역적 정규화 간 균형을 어떻게 이루는지 분석한다.
• 이론적 분석을 통해 최적의 MSDA 전략은 과제, 데이터셋 및 모델 아키텍처에 따라 달라질 수 있음을 보여준다.
• PreActResNet-18와 같은 표준 아키텍처를 사용해 CIFAR-100과 ImageNet에서 제안된 방법을 검증하며, 하이퍼파라미터에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 혼합 샘플 데이터 증강(MSDA)은 손실 함수 관점에서 훈련 과정을 어떻게 정규화하는가?
• RQ2 Mixup과 CutMix는 픽셀 간 거리에 따라 기울기와 헤시안 정규화 측면에서 왜 서로 다른 행동을 보이는가?
• RQ3 다양한 데이터 증강 전략에 걸쳐 MSDA의 일반화 및 내성 향상 메커니즘을 설명할 수 있는 통합 이론적 프레임워크가 존재하는가?
• RQ4 기존 방법들을 능가하는 일반화된 MSDA 방법을 설계할 때의 핵심 설계 원칙은 무엇인가?
• RQ5 α와 r와 같은 하이퍼파라미터는 HMix와 GMix의 성능에 어떻게 영향을 미치며, 최적의 설정은 무엇인가?

주요 결과

• MSDA는 훈련 손실의 픽셀 수준 정규화와 첫 번째 레이어 파라미터의 정규화로 작용하며, 이는 일반화 성능 향상의 이유를 설명한다.
• CutMix는 근접한 픽셀 수준의 기울기와 헤시안에 강력한 정규화를 제공하지만, Mixup은 모든 거리에 걸쳐 기울기와 헤시안을 균일하게 정규화한다.
• α=1.0과 r=0.75를 사용한 HMix는 CIFAR-100에서 79.25%의 상위-1 정확도를 달성하여 CutMix(78.66%)와 Mixup(77.21%)를 모두 초월한다.
• α=0.5를 사용한 GMix는 동일한 설정에서 CIFAR-100에서 79.17%의 정확도를 기록하며, CutMix(78.66%)와 Mixup(77.21%)를 모두 능가한다.
• 제안된 방법은 하이퍼파라미터 설정에 대해 매우 안정적이며, 다양한 α와 r 값에서도 성능 저하가 최소한이어서 높은 안정성을 보인다.
• ImageNet에서의 경험적 결과는 HMix와 GMix가 Stochastic Mixup & CutMix를 포함한 최신 기준 MSDA 방법들을 일관되게 능가함을 보여준다.