[논문 리뷰] On the Generalization Effects of Linear Transformations in Data Augmentation

Sen Wu, Hongyang R. Zhang외 2명|arXiv (Cornell University)|2020. 05. 02.

COVID-19 diagnosis using AI인용 수 23

한 줄 요약

이 논문은 과다 매개변수화된 선형 회귀에서 선형 데이터 증강의 이론적 분석을 제공하며, 레이블 불변 변환은 데이터 스팬을 확장함으로써 일반화를 향상시키고, 레이블 혼합 변환(예: 미믹업)은 암묵적 정규화 작용을 한다고 밝힌다. 저자들은 불확실도를 기반으로 한 증강 전략을 제안하여 CIFAR-100에서 무작위 샘플링 대비 +1.24%의 정확도 향상을 달성했고, 여러 벤치마크에서 경쟁력 있는 성능을 보였다.

ABSTRACT

Data augmentation is a powerful technique to improve performance in applications such as image and text classification tasks. Yet, there is little rigorous understanding of why and how various augmentations work. In this work, we consider a family of linear transformations and study their effects on the ridge estimator in an over-parametrized linear regression setting. First, we show that transformations that preserve the labels of the data can improve estimation by enlarging the span of the training data. Second, we show that transformations that mix data can improve estimation by playing a regularization effect. Finally, we validate our theoretical insights on MNIST. Based on the insights, we propose an augmentation scheme that searches over the space of transformations by how uncertain the model is about the transformed data. We validate our proposed scheme on image and text datasets. For example, our method outperforms random sampling methods by 1.24% on CIFAR-100 using Wide-ResNet-28-10. Furthermore, we achieve comparable accuracy to the SoTA Adversarial AutoAugment on CIFAR-10, CIFAR-100, SVHN, and ImageNet datasets.

연구 동기 및 목표

• 과다 매개변수화된 선형 모델에서 데이터 증강의 이론적 메커니즘을 이해하는 것.
• 특히 레이블 불변 및 레이블 혼합 변환이 추정 오차와 일반화에 미치는 영향를 분석하는 것.
• 모델 불확실성과 이론적 통찰을 기반으로 한 효율적인 변환 검색 전략을 개발하는 것.
• 이론적 발견을 이미지 및 텍스트 데이터셋에서 실증적으로 검증하여 무작위 샘플링 및 최신 기법 대비 성능 향상을 이루는 것.

제안 방법

• p > n 조건 하에서 과다 매개변수화된 선형 회귀의 리지 추정자에 대한 이론적 분석을 수행하며, 변환으로부터의 새로운 정보를 측정하기 위해 투영 연산자 $ P_X^\bot $ 를 사용한다.
• 추정 오차 경계 유도: 레이블 불변 변환의 경우 $ \frac{(\beta^\top P_X^\perp Fx)^2}{n} $, 미믹업의 경우 $ \frac{\|X\beta\|^2}{n^2} $ 로 표현되며, 정규화 효과를 보여준다.
• 모델 불확실성에 기반해 변환을 선택하는 검색 방법을 제안하며, 높은 성능을 보이는 변환의 빈도를 감소시킨다.
• 이 방법을 이미지(CIFAR-10, CIFAR-100, SVHN, ImageNet) 및 텍스트 데이터셋에 적용하였으며, Wide-ResNet-28-10 및 MLP 모델을 사용하였다.
• 모델의 안정성과 일반화 능력을 평가하기 위해 내재 오차 점수와 불안정성 점수를 사용하였으며, 같은 클래스 간 혼합과 다른 클래스 간 혼합을 비교하였다.
• 교차 엔트로피 손실의 마진 분포를 분석하여, 왜 미믹업이 고마진 오분류를 수정하는지 설명한다.

실험 결과

연구 질문

• RQ1 레이블 불변 선형 변환은 과다 매개변수화된 선형 모델에서 추정 오차에 어떤 영향을 미치는가?
• RQ2 리지 회귀의 맥락에서 레이블 혼합 변환(예: 미믹업)은 어떤 정규화 효과를 가지는가?
• RQ3 선형 모델에서의 이론적 통찰을 딥 러닝에서의 데이터 증강 검색 효율성 향상에 활용할 수 있는가?
• RQ4 왜 미믹업은 일반화를 향상시키며, 분류 모델의 마진 분포에 어떤 영향을 미치는가?
• RQ5 같은 클래스 간 혼합과 다른 클래스 간 혼합은 서로 다른 일반화 이점을 제공하는가?

주요 결과

• 회전 및 플립과 같은 레이블 불변 변환은 데이터 스팬을 확장함으로써 추정 오차를 감소시키며, 오차 감소는 $ \frac{(\beta^\top P_X^\perp Fx)^2}{n} $ 비례한다.
• 미믹업과 같은 레이블 혼합 변환은 정규화를 통해 추정 오차를 감소시키며, 새로운 데이터 스팬이 추가되지 않더라도 오차 감소는 $ \frac{\|X\beta\|^2}{n^2} $ 비례한다.
• Wide-ResNet-28-10을 사용한 CIFAR-100에서 제안된 방법은 무작위 샘플링 대비 정확도 1.24% 향상되었다.
• 이 방법은 CIFAR-10, CIFAR-100, SVHN, ImageNet에서 최신 기법인 Adversarial AutoAugment와 비교해 유사한 정확도를 달성했다.
• MNIST에서 다른 클래스 혼합은 내재 오차 점수를 감소시키지만, 같은 클래스 혼합은 그렇지 않으며, 이는 레이블 혼합의 정규화 기여를 확인한다.
• 미믹업은 기준 모델에서 고마진 오분류된 이미지를 수정하며, 낮은 마진을 가진 정확히 분류된 이미지의 마진을 증가시킨다.