[논문 리뷰] Manifold Mixup: Better Representations by Interpolating Hidden States

Vikas Verma, Alex Lamb외 6명|arXiv (Cornell University)|2018. 06. 13.

Generative Adversarial Networks and Image Synthesis인용 수 477

한 줄 요약

Manifold Mixup은 은닉 표현을 보간하고(혼합 레이블 포함) 네트워크를 정규화하여, 더 평탄한 클래스 표현, 더 매끄러운 결정 경계, 더 나은 일반화, 새로운 변형에 대한 더 강한 강건성과 단일 단계 적대적 공격에 대한 향상을 제공합니다.

ABSTRACT

Deep neural networks excel at learning the training data, but often provide incorrect and confident predictions when evaluated on slightly different test examples. This includes distribution shifts, outliers, and adversarial examples. To address these issues, we propose Manifold Mixup, a simple regularizer that encourages neural networks to predict less confidently on interpolations of hidden representations. Manifold Mixup leverages semantic interpolations as additional training signal, obtaining neural networks with smoother decision boundaries at multiple levels of representation. As a result, neural networks trained with Manifold Mixup learn class-representations with fewer directions of variance. We prove theory on why this flattening happens under ideal conditions, validate it on practical situations, and connect it to previous works on information theory and generalization. In spite of incurring no significant computation and being implemented in a few lines of code, Manifold Mixup improves strong baselines in supervised learning, robustness to single-step adversarial attacks, and test log-likelihood.

연구 동기 및 목표

• 심층 신경망에서 분포 이동과 적대적 섭동에 따른 더 나은 일반화의 필요성을 제시한다.
• 은닉 표현에서 선형 보간을 수행하고 대응하는 소프트 라벨을 사용하는 정규화 기법으로 Manifold Mixup을 도입한다.
• 표현 평탄화의 이론적 특성화와 데이터 세트 전반에서의 발생 및 이점의 실증적 검증.
• 일반화, 로그 가능도, 적대적 및 새로운 변형에 대한 강건성에서 실증적 이득을 시연한다.

제안 방법

• 자격 있는 계층 집합에서 임의의 계층 k를 선택하고, 은닉 표현 gk(x)와 gk(x′), 그리고 이들의 원-핫 라벨에 대해 Mixλ를 계산한 다음 전체 네트워크를 역전파하여 Manifold Mixup으로 네트워크를 학습한다.
• 쌍의 예시와 Mixλ에 대해 평균화된 손실을 최소화한다, 즉 L(f)=E_{(x,y),(x′,y′),λ,k} ℓ(fk(Mixλ(gk(x),gk(x′))), Mixλ(y,y′)).
• benchmark(CIFAR-10/100, SVHN, TinyImagenet)에서 Input Mixup 및 기타 정규화 기법과 Manifold Mixup을 비교하고 SVD를 통해 표현을 분석한다.
• 평탄화를 보이는 이론적 결과를 제공한다: 은닉 계층 차원 dim(H) ≥ d−1 (d = 클래스 수)인 경우 최적 해 f⋆ 는 선형이고 학습 포인트가 dim(H)−d+1 차원의 부분공간에 놓인다(정리 1 및 보정 정리 1).
• 변형 및 적대적 공격(FGSM, PGD)에 대한 강건성을 조사하고 그래디언트 신호의 무결성을 보장하기 위해 그래디언트 동작을 분석한다(anti-gradient masking 점검).
• Manifold Mixup이 아키텍처(PreActResNet 계열, Wide-ResNet)와 데이터 세트 전반에서 더 나은 NLL 및 테스트 에러를 얻는다는 것을 시연한다.

실험 결과

연구 질문

• RQ1 Mixλ로 은닉 표현을 보간하는 것이 입력 공간의 mixup 및 다른 정규화 기법과 비교하여 일반화와 보정(NLL)을 향상시키는가?
• RQ2 Manifold Mixup이 은닉 계층의 클래스 표현 기하학(평탄화, 분산 방향 감소)에 어떤 영향을 미치는가?
• RQ3 이 방법이 새로운 입력 변형 및 단일 단계 적대적 공격에 대한 강건성을 향상시키는가, 그리고 어느 정도인가?
• RQ4 향상은 깊은 표현에서의 보간 학습 탓인가, 아니면 입력층의 정규화 신호 때문인가?
• RQ5 알파와 자격 레이어 집합 S와 같은 하이퍼파라미터에 방법이 얼마나 민감한가?

주요 결과

• Manifold Mixup은 CIFAR-10/100, SVHN, TinyImagenet 전반에서 일반 학습, AdaMix, Input Mixup보다 더 나은 테스트 에러와 유의하게 낮은 NLL을 달성한다.
• 새로운 변형에 대한 강건성을 향상시키며 회전, 기울임, 확대된 입력에 대해 베이스라인보다 정확도가 더 높다.
• FGSM 적대적 정확도는 Manifold Mixup으로 현저히 개선되지만, PGD 강건성은 큰 향상을 보이지 않는다.
• SVD 분석은 Manifold Mixup이 클래스별 표현을 평탄화하고, 가장 큰 특이값에 비해 작은 특이값들의 합을 줄여 차원 분산이 다른 정규화 기법보다 더 낮음을 시사한다.
• 이론적 결과에 따르면 충분히 큰 은닉 차원에서 은닉 계층에서의 혼합은 선형 결정 경계로 손실을 zero로 만들 수 있어 클래스 표현의 평탄화를 시사한다.