[논문 리뷰] MixUp as Locally Linear Out-Of-Manifold Regularization

Hongyu Guo, Yongyi Mao외 1명|arXiv (Cornell University)|2018. 09. 07.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 민감도가 높은 데이터 증강 방법인 AdaMixUp를 제안한다. 이는 민감도가 높은 데이터 증강 방법으로서, MixUp를 국소 선형의 만곡면 외부 정규화로 수식화하며, '만곡면 침입'을 핵심적인 제약 조건으로 규명한다. 정책 생성기와 침입 탐지기(디스커미네이터)를 통해 혼합 정책을 학습함으로써, 합성 예측값이 실제 데이터 포인트와 충돌하는 것을 방지하면서 일반화 성능을 향상시킨다. CIFAR-10과 CIFAR-100에서 최신 기준 성능을 달성한다.

ABSTRACT

MixUp is a recently proposed data-augmentation scheme, which linearly interpolates a random pair of training examples and correspondingly the one-hot representations of their labels. Training deep neural networks with such additional data is shown capable of significantly improving the predictive accuracy of the current art. The power of MixUp, however, is primarily established empirically and its working and effectiveness have not been explained in any depth. In this paper, we develop an understanding for MixUp as a form of "out-of-manifold regularization", which imposes certain "local linearity" constraints on the model's input space beyond the data manifold. This analysis enables us to identify a limitation of MixUp, which we call "manifold intrusion". In a nutshell, manifold intrusion in MixUp is a form of under-fitting resulting from conflicts between the synthetic labels of the mixed-up examples and the labels of original training data. Such a phenomenon usually happens when the parameters controlling the generation of mixing policies are not sufficiently fine-tuned on the training data. To address this issue, we propose a novel adaptive version of MixUp, where the mixing policies are automatically learned from the data using an additional network and objective function designed to avoid manifold intrusion. The proposed regularizer, AdaMixUp, is empirically evaluated on several benchmark datasets. Extensive experiments demonstrate that AdaMixUp improves upon MixUp when applied to the current art of deep classification models.

연구 동기 및 목표

• 데이터에 의존하는 국소 선형의 만곡면 외부 정규화 형태로 MixUp를 재구성함으로써, MixUp의 이론적 이해를 제공한다.
• 표준 MixUp에서 발생하는 주요 제약 조건인 '만곡면 침입'(실제 데이터 레이블과 충돌하는 소프트 레이블을 가진 합성 예측값이 만곡면에 침입하는 현상)을 규명한다.
• 만곡면 침입을 방지할 수 있도록 자동으로 혼합 정책을 학습하는 적응형, 데이터 기반 방법을 개발한다.
• 합성 예측값이 데이터 만곡면과 겹치는 위험을 최소화함으로써 딥 네ural 네트워크의 일반화 성능을 향상시킨다.
• 기준 이미지 분류 데이터셋에서 제안된 방법의 효과성을 검증하여 표준 MixUp보다 뛰어난 성능을 보여준다.

제안 방법

• 합성 예측값을 입력 공간과 레이블 공간에서 선형 보간을 통해 생성함으로써, MixUp를 국소 선형의 만곡면 외부 정규화 체계로 수식화한다.
• 데이터로부터 최적의 혼합 영역을 학습하는 정책 생성기 네트워크를 도입하여, 단순한 2개 샘플 보간을 넘는 고차원 혼합을 가능하게 한다.
• 입력 공간에서 실제 데이터 포인트에 너무 가까이 위치한 합성 예측값을 탐지하고, 이를 보상함으로써 침입을 방지한다.
• 두 단계로 이루어진 훈련 과정을 적용한다: 첫 번째 단계에서 학습된 정책을 사용해 혼합 예측값을 생성하고, 두 번째 단계에서 침입 탐지기의 피드백을 이용해 정책을 개선한다.
• 분류 손실과 침입 손실을 동시에 최적화하여, 만곡면 침입을 방지하는 정규화를 훈련 중에 적용한다.
• 다양한 배치마다 가변적인 혼합 초모수(α 및 Δ)를 미분 가능한 정책 생성기를 통해 동적으로 조정함으로써, 수동 조정이 필요 없어진다.

실험 결과

연구 질문

• RQ1 MixUp는 어떤 방식으로 정규화의 한 형태로 작용하며, 그 기반이 되는 인덕티브 바이어스는 무엇인가?
• RQ2 초모수 조정이 잘못되었을 때 MixUp 성능 저하의 원인은 무엇이며, 이를 공식적으로 기술할 수 있는가?
• RQ3 만곡면 침입 위험을 종합적으로 모델링하고, 종단 간 학습 프레임워크를 통해 이를 완화할 수 있는가?
• RQ4 고정된 전역 초모수 대비, 적응형, 데이터 기반 혼합 정책 학습이 일반화 성능 향상에 더 효과적인가?
• RQ5 다양한 데이터 규모와 모델 용량에서 제안된 방법이 표준 MixUp와 비교해 얼마나 더 견고하고 성능이 뛰어난가?

주요 결과

• 만곡면 침입—즉, 혼합된 예측값이 실제 데이터 포인트와 충돌하지만 일관되지 않은 소프트 레이블을 받는 현상—은 표준 MixUp에서 과소적합과 성능 저하의 원인이 된다.
• 침입 탐지기를 포함한 경우, CIFAR-100에서 AdaMixUp는 표준 MixUp 대비 테스트 오차를 2.01% 감소시켜 20.97%에서 24.75%로 개선한다.
• CIFAR-10에서는 AdaMixUp가 침입 탐지기를 사용할 경우 3.52%의 테스트 오차를 기록하여, 베이스라인(5.53%)과 MixUp(3.83%)보다 뛰어난 성능을 보였다.
• 훈련 데이터 크기가 증가할수록 AdaMixUp와 표준 MixUp 간의 성능 격차가 커지며, 데이터가 부족한 조건에서 더 강한 일반화 성능 향상을 보인다.
• AdaMixUp는 모델 용량에 대해 더 뛰어난 견고성을 보이며, 더 큰 ResNet-18 버전일수록 필터 수가 증가할수록 정확도 향상이 두드러진다.
• 입력 공간 대신 히든 레이어에서 보간을 수행할 경우 성능 저하가 심각하게 발생한다(예: CIFAR-100에서 22.21% 오차), 이는 임베딩 공간에서의 시각적 유사도가 낮기 때문이다.