[논문 리뷰] Manifold Mixup: Encouraging Meaningful On-Manifold Interpolation as a Regularizer.

Vikas Verma, Alex Lamb외 4명|arXiv (Cornell University)|2018. 06. 13.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 44

한 줄 요약

Manifold Mixup는 데이터 다양체 위에서 결정 경계를 더 매끄럽게 만들도록 도와주는 볼록 조합의 히든 표현을 사용하여 딥 러닝의 일반화 성능을 향상시킨다. 이는 반감독 학습, 적대적 예제에 대한 강건성, 라벨이 적은 데이터에서의 성능 향상으로 이어지며, 추론 비용 증가 없이도 가능하다.

ABSTRACT

Deep networks often perform well on the data manifold on which they are trained, yet give incorrect (and often very confident) answers when evaluated on points from off of the training distribution. This is exemplified by the adversarial examples phenomenon but can also be seen in terms of model generalization and domain shift. We propose Manifold Mixup which encourages the network to produce more reasonable and less confident predictions at points with combinations of attributes not seen in the training set. This is accomplished by training on convex combinations of the hidden state representations of data samples. Using this method, we demonstrate improved semi-supervised learning, learning with limited labeled data, and robustness to adversarial examples. Manifold Mixup requires no (significant) additional computation. Analytical experiments on both real data and synthetic data directly support our hypothesis for why the Manifold Mixup method improves results.

연구 동기 및 목표

• 분포 외 또는 드문 속성 조합에서 딥 네트워크가 과도하게 확신하는 잘못된 예측을 개선하기 위해.
• 특히 도메인 이동 및 반감독 학습 환경에서 모델의 일반화 성능과 강건성을 향상시키기 위해.
• 계산 비용 증가 없이 데이터 다양체 내에서 의미 있는 보간을 유도하는 정규화 기법을 개발하기 위해.
• 구조화된 히든 특징 보간을 통해 모델 신뢰도 캘리브레이션과 적대적 강건성을 향상시키는 방법을 제공하기 위해.

제안 방법

• 원시 입력 데이터가 아닌, 서로 다른 데이터 샘플의 히든 레이어 표현의 볼록 조합을 사용하여 학습한다.
• 히든 특징 공간에서 보간을 적용함으로써, 모델이 데이터 다양체를 따라 매끄럽게 일반화하도록 정규화한다.
• 표준 Mixup와 유사하게 베타 분포를 이용한 혼합 계수를 사용하지만, 이는 히든 레이어 수준에서 적용된다.
• 표준 백프로파게이션을 사용하여 엔드 투 엔드로 학습하며, 계산 오버헤드가 크게 증가하지 않는다.
• 네트워크가 데이터 다양체의 더 구조적이고 연속적인 표현을 학습하도록 암묵적으로 유도한다.

실험 결과

연구 질문

• RQ1 히든 표현의 보간이 분포 외 및 드문 속성 조합에서의 모델 일반화 성능 향상에 기여하는가?
• RQ2 히든 공간에서의 보간을 학습하면 적대적 예제에 대한 강건성이 향상되는가?
• RQ3 Manifold Mixup는 반감독 학습 및 데이터가 적은 환경에서 얼마나 성능을 향상시키는가?
• RQ4 캘리브레이션과 강건성 측면에서 표준 Mixup 및 기타 정규화 기법과 비교해 볼 때 Manifold Mixup는 어떤가?

주요 결과

• Manifold Mixup는 반감독 학습 벤치마크에서 최신 기술 수준의 성능을 달성하여 표준 Mixup 및 기타 정규화 방법을 능가한다.
• 이 방법은 적대적 강건성을 향상시켜, 테스트 데이터에서 적대적 공격의 성공률을 낮춘다.
• 모델 캘리브레이션을 향상시켜, OOD(분포 외) 샘플에 대해 더 신뢰할 수 있는 신뢰도 추정을 가능하게 한다.
• 데이터가 적은 환경에서도 일관된 성능 향상을 보이며, 더 높은 샘플 효율성을 입증한다.