[논문 리뷰] Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs

Alexia Jolicoeur‐Martineau, Ioannis Mitliagkas|arXiv (Cornell University)|2019. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 12

한 줄 요약

이 논문은 최대 마진 분류기(MMCs)를 임의의 노름과 비선형 함수로 일반화하여 서포트 벡터 머신(SVMs)이 특수한 경우임을 밝혀낸다. 또한 MMCs가 적분 확률 거리(IPMs) 또는 기울기 노름에 페널티를 주는 분류기와 대응됨을 입증하며, 기울기 노름을 페널티로 주는 GAN과 직접 연결됨을 보여주며, 워샤프, 표준, 최소 제곱, 허지 GAN의 판별기 중 기울기 페널티가 있는 경우가 모두 MMC임을 밝힌다. 또한 $L^\infty$-노름 페널티와 허지 손실을 사용할 경우 $L^2$-노름 페널티보다 더 나은 GAN 성능을 내며, 상대적 GAN의 마진을 유도한다.

ABSTRACT

We generalize the concept of maximum-margin classifiers (MMCs) to arbitrary norms and non-linear functions. Support Vector Machines (SVMs) are a special case of MMC. We find that MMCs can be formulated as Integral Probability Metrics (IPMs) or classifiers with some form of gradient norm penalty. This implies a direct link to a class of Generative adversarial networks (GANs) which penalize a gradient norm. We show that the Discriminator in Wasserstein, Standard, Least-Squares, and Hinge GAN with Gradient Penalty is an MMC. We explain why maximizing a margin may be helpful in GANs. We hypothesize and confirm experimentally that $L^\infty$-norm penalties with Hinge loss produce better GANs than $L^2$-norm penalties (based on common evaluation metrics). We derive the margins of Relativistic paired (Rp) and average (Ra) GANs.

연구 동기 및 목표

• 최대 마진 분류기(MMCs)를 $L^2$-노름과 선형 함수를 초월하여 임의의 노름과 비선형 설정으로 일반화하는 것.
• MMCs와 적분 확률 거리(IPMs) 사이의 이론적 연결 고리를 확립하며, 특히 기울기 노름 페널라이제이션의 맥락에서 다루는 것.
• 워샤프, 표준, 최소 제곱, 허지 GAN의 다양한 변종에서 기울기 페널티를 가진 판별기가 MMCs의 사례임을 보여주는 것.
• 기울기 마진을 $L^\infty$-노름 페널티로 최대화하는 것이 $L^2$-노름 페널티보다 GAN 학습에서 성능을 향상시키는지 조사하는 것.
• 일반화된 MMC 프레임워크를 사용하여 상대적 쌍체(GANs)와 평균(GANs)의 마진 표현식을 도출하는 것.

제안 방법

• 통합 최적화 프레임워크를 사용하여 최대 마진 분류기(MMCs)를 임의의 노름과 비선형 함수로 일반화하는 것.
• MMCs를 적분 확률 거리(IPMs)로 재구성하여 확률 측도와 데이터 분포에 대한 기대값과 연결하는 것.
• 노름 페널티를 가진 MMCs가 기울기 노름에 페널티를 주는 분류기와 대응됨을 보여주며, 기울기 페널티가 있는 GAN과의 다리를 놓는 것.
• 워샤프, 표준, 최소 제곱, 허지 GAN의 다양한 변종에서 기울기 페널티를 가진 판별기를 분석하고, 이들이 MMCs와 동치임을 증명하는 것.
• 일반화된 MMC 프레임워크를 사용하여 상대적 쌍체(Rp)와 평균(Ra) GAN의 마진 표현식을 도출하는 것.
• 기본 평가 지표를 사용하여 허지 손실 GAN에서 $L^2$-노름과 $L^\infty$-노름 페널티를 비교하는 실험을 수행하는 것.

실험 결과

연구 질문

• RQ1 최대 마진 분류기를 $L^2$-노름과 선형 함수를 초월하여 임의의 노름과 비선형 설정으로 일반화할 수 있는가?
• RQ2 MMCs, 적분 확률 거리(IPMs), 기울기 노름에 페널티를 주는 분류기 사이의 이론적 관계는 무엇인가?
• RQ3 왜 GAN에서 마진을 최대화하면 성능이 향상되는가? 그리고 노름 선택($L^2$ 대비 $L^\infty$)이 이에 어떻게 영향을 미치는가?
• RQ4 허지 손실 GAN에서 $L^\infty$-노름 페널티가 $L^2$-노름 페널티보다 일반적인 GAN 평가 지표에서 성능을 뛰어나게 할 수 있는가?
• RQ5 일반화된 MMC 프레임워크 하에서 상대적 쌍체(Rp)와 평균(Ra) GAN의 명시적 마진 표현식은 무엇인가?

주요 결과

• 기울기 페널티가 있는 워샤프, 표준, 최소 제곱, 허지 GAN의 판별기는 수학적으로 최대 마진 분류기(MMC)와 동치이다.
• MMCs는 적분 확률 거리(IPMs)로 재구성될 수 있으며, 이는 거리 학습과 강건한 분류 간의 이론적 연결 고리를 확립한다.
• 실험적으로 $L^\infty$-노름 페널티와 허지 손실을 사용할 경우 표준 평가 지표에서 $L^2$-노름 페널티보다 더 우수한 GAN 성능을 내는 것으로 확인되었다.
• 상대적 쌍체(Rp) GAN의 마진이 도출되었으며, 일반화된 MMC 프레임워크와 일관됨을 보였다.
• 상대적 평균(Ra) GAN의 마진도 유도되었으며, 상대적 GAN의 이론적 이해를 확장하였다.
• 이론적 프레임워크는 마진 최대화가 왜 GAN의 일반화 및 학습 안정성 향상에 기여할 수 있는지 설명한다.