[논문 리뷰] Sample Efficiency of Data Augmentation Consistency Regularization

Shuo Yang, Yijun Dong외 4명|arXiv (Cornell University)|2022. 02. 24.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 이론적 분석을 통해 선형 모델과 비선형 모델 모두에서 데이터 증강 일致성(DAC) 정규화가 데이터 증강 경험 리스크 최소화(DA-ERM)보다 본질적으로 더 샘플 효율적임을 입증한다. DAC는 더 강한 불변성을 강제하고 잘못된 레이블을 가진 증강에 더 잘 견디므로 일반화 오차를 감소시키며, WideResNet을 사용한 CIFAR-100에서 실증적으로 검증되었다.

ABSTRACT

Data augmentation is popular in the training of large neural networks; currently, however, there is no clear theoretical comparison between different algorithmic choices on how to use augmented data. In this paper, we take a step in this direction - we first present a simple and novel analysis for linear regression with label invariant augmentations, demonstrating that data augmentation consistency (DAC) is intrinsically more efficient than empirical risk minimization on augmented data (DA-ERM). The analysis is then extended to misspecified augmentations (i.e., augmentations that change the labels), which again demonstrates the merit of DAC over DA-ERM. Further, we extend our analysis to non-linear models (e.g., neural networks) and present generalization bounds. Finally, we perform experiments that make a clean and apples-to-apples comparison (i.e., with no extra modeling or data tweaks) between DAC and DA-ERM using CIFAR-100 and WideResNet; these together demonstrate the superior efficacy of DAC.

연구 동기 및 목표

• 딥 뉴럴 모델을 훈련하는 데 널리 사용되는 데이터 증강 일치성(DAC)과 데이터 증강 경험 리스크 최소화(DA-ERM)의 샘플 효율성을 이론적으로 비교하는 것.
• 비즈음 데이터가 없을 경우에도 DAC가 DA-ERM보다 본질적인 알고리즘적 이점이 있는지 조사하는 것.
• 선형 모델에서의 이론적 분석을 비선형 모델, 특히 두 층의 신경망과 확장 기반 증강을 사용하는 DNN 기반 분류기로 확장하는 것.
• 비선형 설정에서 일치성 정규화에 대한 일반화 경계를 제공하여 이론을 실용적 설계 선택과 연결하는 것.
• 추가 데이터나 모델 수정 없이, WideResNet을 사용한 CIFAR-100에서 DAC와 DA-ERM 간에 청소된, 동등한 비교를 수행하는 것.

제안 방법

• 레이블 불변 증강을 가진 선형 회귀에 대한 새로운 이론적 프레임워크를 제안하여 DAC와 DA-ERM를 비교하고, DAC가 엄격히 더 작은 일반화 오차를 낳음을 보여준다.
• 레이블가 변경되는 잘못된 증강(즉, 레이블을 변경하는 증강) 상황으로 분석을 확장하여, DAC가 더 뛰어난 강건성과 더 작은 근사 오차를 보임을 입증한다.
• 두 층의 ReLU 네트워크와 확장 기반 증강을 사용하는 DNN 기반 분류기에서 DAC의 일반화 경계를 유도한다.
• 가우스 방식과 리프시츠 연속성을 사용하여 증강된 데이터 다양체의 복잡도를 경계하여, 모델 복잡도와 일반화 성능 간의 관계를 연결한다.
• 실험에서 강도를 제어한 RandAugment(n ∈ {1,2,5,10})을 사용하여 증강 샘플을 생성하여 동일한 증강 정책을 확보한다.
• 레이블 데이터 크기(1k, 10k, 20k)에 대한 추론 실험과, WideResNet을 사용한 CIFAR-100에서 동일한 훈련 프rotocol 하에 DAC와 DA-ERM 간의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 비즈음 데이터가 없을 경우 데이터 증강 일치성(DAC)이 DA-ERM보다 본질적으로 더 샘플 효율적인가?
• RQ2 증강이 잘못되었을 경우(즉, 레이블를 변경할 경우), DAC는 DA-ERM에 비해 추정 오차와 근사 오차 측면에서 어떻게 다른가?
• RQ3 두 층의 신경망과 같은 비선형 모델에서 일치성 정규화에 대한 이론적 일반화 경계를 도출할 수 있는가?
• RQ4 증강 강도와 같은 하이퍼파라미터 선택이 DAC와 DA-ERM 간 성능 격차에 어떻게 영향을 미치는가?
• RQ5 청소된, 통제된 실험 환경 하에서 DAC는 DA-ERM에 비해 실제로 얼마나 더 뛰어나게 성능을 발휘하는가?

주요 결과

• 레이블 불변 증강을 가진 선형 회귀에서 DAC는 DA-ERM보다 엄격히 더 작은 일반화 오차를 달성하여 본질적인 샘플 효율성을 입증한다.
• DAC는 잘못된 증강을 더 잘 견디며, DA-ERM가 증강에 의해 레이블이 변경될 경우 민감하게 반응하는 것에 비해 더 작은 근사 오차를 유발한다.
• 두 층의 ReLU 네트워크에서 DAC의 일반화 경계는 일치성 정규화가 모델 복잡도를 감소시키고 일반화 성능을 향상시킴을 보여준다.
• WideResNet을 사용한 CIFAR-100에서의 실증 결과는 모든 레이블 데이터 규모(1k, 10k, 20k)에서 DAC가 DA-ERM를 항상 초월하며 일관된 정확도 향상을 보임을 확인한다.
• 이론적 분석은 강력한 증강을 일치성 정규화(FixMatch)에서는 사용할 수 있지만, 의사라벨링(FixMatch)에서는 사용할 수 없는 이유를 설명한다. DAC는 레이블 이동에 강건하기 때문이다.
• 실험 결과 DAC는 최소한의 레이블 데이터에서도 뛰어난 성능을 유지하며, 저자료 환경에서의 가치를 부각시킨다.