[논문 리뷰] A Group-Theoretic Framework for Data Augmentation

Shuxiao Chen, Edgar Dobriban외 1명|arXiv (Cornell University)|2019. 07. 25.

Machine Learning and Algorithms참고 문헌 95인용 수 76

한 줄 요약

이 논문은 데이터 증강을 그룹 이론적 프레임워크로 설명하여 그룹 궤도 위의 평균으로 수렴시키고, ERM 및 MLE 설정에서 분산 감소와 향상된 샘플 효율성을 이끈다는 이론, 예시, 그리고 근사 불변성에 대한 편향-분산 트레이드를 제시한다.

ABSTRACT

Data augmentation is a widely used trick when training deep neural networks: in addition to the original data, properly transformed data are also added to the training set. However, to the best of our knowledge, a clear mathematical framework to explain the performance benefits of data augmentation is not available. In this paper, we develop such a theoretical framework. We show data augmentation is equivalent to an averaging operation over the orbits of a certain group that keeps the data distribution approximately invariant. We prove that it leads to variance reduction. We study empirical risk minimization, and the examples of exponential families, linear regression, and certain two-layer neural networks. We also discuss how data augmentation could be used in problems with symmetry where other approaches are prevalent, such as in cryo-electron microscopy (cryo-EM).

연구 동기 및 목표

• 그룹 불변성 프레임워크 내에서 데이터 증강의 동기를 제시하고 이를 형식화한다.
• ERM 및 MLE에서 언제 증강이 분산을 줄이고 샘플 효율성을 향상시키는지 특성화한다.
• 증강을 분산, Rademacher 복잡도, Fisher 정보와 연결하는 비점근적 및 점근적 결과를 개발한다.
• 구체적 예시들(지수 families, 선형 회귀, 이층 신경망) 제공 및 근사 불변성에 대해 논의한다.
• 딥러닝을 넘어 대칭성이 있는 문제들(예: cryo-EM)에 대한 적용 가능성을 제시한다.

제안 방법

• X ≈d gX 이면서 g ∈ G인 군 G를 통해 데이터 불변성을 모델링한다.
• 데이터 증강이 원래 손실의 그룹 작용에 대한 평균으로 구성된 보강 손실을 최소화하는 것에 해당함을 보인다.
• 보강된 ERM/MLE, 제약된 MLE, 보강된 MLE, 불변 표현, 주변(Marginal) MLE 변형을 도입한다.
• 궤도 평균화를 통한 정확한 불변성 하에서의 분산 감소를 증명한다(Rao-Blackwellization).
• 비점근적 결과를 도출한다: 손실 평균화는 Rademacher 복잡도를 감소시키고, 강한 볼록성 하에서 기울기 평균화는 기울기 분산을 감소시킨다.
• 점근 분석을 제공한다: 분산 감소는 그룹 궤도에 따른 손실의 공분산 및 잠재적 Fisher 정보 증가에 의존한다.
• 최적 수송을 사용하여 근사 불변성으로 결과를 확장하고 편향-분산 트레이드를 논의한다.
• 다양한 예를 제시하고 충분성, 불변성, 규제화와의 연관성을 논의한다.

실험 결과

연구 질문

• RQ1 데이터 증강을 대칭성 그룹 위의 평균 연산으로 이해하는 방법은?
• RQ2 정확한 불변성 대 근사 불변성 하에서 증강은 언제 분산을 감소시키고 통계적 효율성을 향상시키는가?
• RQ3 비점근적 및 점근적 구간에서 데이터 증강이 ERM 및 MLE에 어떤 영향을 미치는가?
• RQ4 실용적 변형들(제약된, 보강된, 불변의, 주변 MLE)과 그 트레이드오프는 무엇인가?
• RQ5 딥러닝을 넘어 대칭성이 있는 문제에 프레임워크를 어떻게 적용할 수 있을가(예: cryo-EM)?

주요 결과

• 정확한 불변성 하에서의 궤도 평균화는 임의의 함수의 분산을 감소시킨다.
• 손실 평균화는 손실 클래스의 Rademacher 복잡도를 낮추어 일반화가 향상될 수 있음을 시사한다.
• 손실이 강한 볼록성을 가질 때 ERM의 기울기 평균화가 기울기 분산을 감소시킨다.
• 점근적으로, 분산 감소는 그룹 궤도에 따른 손실의 공분산에 의존하며 Fisher 정보를 향상시킬 수 있다.
• 근사 불변성 하에서 궤도 가변성과 변환된 데이터와의 Wasserstein 거로 지배되는 편향-분산 트레이드오프가 나타난다.