[논문 리뷰] Distributional Robustness with IPMs and links to Regularization and GANs

Hisham Husain|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 분포로 불안정한 최적화(DRO)와 기계 학습에서의 정규화 간의 통합된 연결 고리를 설정한다. 어떤 IPM(적분 확률 거리)를 사용하든 DRO는 정규화 페널티의 가족에 해당함을 보여주며, MMD와 워샤르스타인 거리에 대한 기존 결과를 복원하고 확장한다. 또한 GAN 목표함수를 분포로 불안정한 성질과 연결한다.

ABSTRACT

Robustness to adversarial attacks is an important concern due to the fragility of deep neural networks to small perturbations and has received an abundance of attention in recent years. Distributionally Robust Optimization (DRO), a particularly promising way of addressing this challenge, studies robustness via divergence-based uncertainty sets and has provided valuable insights into robustification strategies such as regularization. In the context of machine learning, the majority of existing results have chosen $f$-divergences, Wasserstein distances and more recently, the Maximum Mean Discrepancy (MMD) to construct uncertainty sets. We extend this line of work for the purposes of understanding robustness via regularization by studying uncertainty sets constructed with Integral Probability Metrics (IPMs) - a large family of divergences including the MMD, Total Variation and Wasserstein distances. Our main result shows that DRO under extit{any} choice of IPM corresponds to a family of regularization penalties, which recover and improve upon existing results in the setting of MMD and Wasserstein distances. Due to the generality of our result, we show that other choices of IPMs correspond to other commonly used penalties in machine learning. Furthermore, we extend our results to shed light on adversarial generative modelling via $f$-GANs, constituting the first study of distributional robustness for the $f$-GAN objective. Our results unveil the inductive properties of the discriminator set with regards to robustness, allowing us to give positive comments for several penalty-based GAN methods such as Wasserstein-, MMD- and Sobolev-GANs. In summary, our results intimately link GANs to distributional robustness, extend previous results on DRO and contribute to our understanding of the link between regularization and robustness at large.

연구 동기 및 목표

• 분포로 불안정한 최적화(DRO)와 기계 학습에서의 정규화 간의 관계를 이해하는 것.
• 보다 넓은 클래스인 적분 확률 거리(IPMs)를 사용하여 기존의 f-발산과 워샤르스타인 거리 외의 DRO 프레임워크를 확장하는 것.
• 다양한 IPMs가 기계 학습에서 알려진 정규화 페널티와 어떻게 대응되는지 밝혀내는 것.
• f-GAN을 통한 적대적 생성 모델링의 이론적 기초를 분포로 불안정한 성질의 관점에서 제공하는 것.
• GAN의 디스crimิน레이터 집합의 인덕티브 바이어스를 강건성과 일반화의 관점에서 설명하는 것.

제안 방법

• 저자들은 적분 확률 거리(IPMs)로 정의된 불확실성 집합을 사용하여 DRO를 수립하며, 이는 MMD, 총변동, 워샤르스타인 거리를 포함한 가족이다.
• 모든 IPM 하에서 DRO 문제의 이중 표현을 유도하여, 강건한 목표함수가 정규화된 경험 위험 최소화 문제에 해당함을 보여준다.
• 페널티 항은 MMD의 경우 재생 핵 힐버트 공간(RKHS) 내의 노름과 동치이며, 워샤르스타인 거리의 경우 리프시츠 제약 조건과 동치임을 보였다.
• 디스crimิน레이터의 최적화를 IPM 기반 DRO의 한 형태로 해석함으로써 f-GAN을 분석하는 데로 확장하였으며, 이는 강건성을 유도하는 성질을 드러낸다.
• 이론적 분석을 통해 워샤르스타인-, MMD-, 그리고 소볼레프-GAN과 같은 다양한 GAN 변종이 특정 IPM을 사용한 DRO 문제로 해석될 수 있음을 보였다.
• 이 방법은 정규화와 강건성의 통합적 시각을 제공하며, 다양한 IPMs가 모델에 다른 인덕티브 바이어스를 유도함을 보여준다.

실험 결과

연구 질문

• RQ1 IPM 기반 DRO는 기계 학습에서의 정규화와 어떻게 관련되어 있는가?
• RQ2 다양한 IPM을 사용한 DRO 수식에서 자연스럽게 유도되는 알려진 정규화 페널티는 무엇인가?
• RQ3 f-GAN 목표함수는 분포로 불안정한 성질의 한 형태로 해석될 수 있는가?
• RQ4 다양한 GAN 디스crimิน레이터 아키텍처는 강건성 측면에서 어떤 인덕티브 바이어스를 유도하는가?
• RQ5 MMD, 워샤르스타인, 그리고 소볼레프-GAN은 각각의 IPM 하에서 DRO와 어떻게 관련되어 있는가?

주요 결과

• 모든 IPM 하에서 DRO는 페널티 항이 IPM의 이중 표현에서 유도된 정규화된 경험 위험 최소화 문제에 해당한다.
• 이 프레임워크는 MMD와 워샤르스타인 DRO에 대한 기존 결과를 복원하고 일반화하며, 이들이 더 넓은 IPM 기반 정규화 체계의 특수한 경우임을 보여준다.
• 기계 학습에서 흔히 사용되는 다른 페널티, 예를 들어 소볼레프-GAN에서의 것들 역시 특정 IPM 선택에 의해 유도됨을 보였다.
• f-GAN 목표함수는 IPM 기반의 불확실성 집합을 통해 분포로 불안정한 성질과 공식적으로 연결되었으며, 이는 GAN에서의 적대적 훈련을 새롭게 해석할 수 있게 한다.
• 분석 결과, f-GAN의 디스crimิน레이터 집합은 IPM가 포괄하는 분포 이동에 대해 모델이 강건하도록 제약을 둠을 드러냈다.
• 이러한 결과는 워샤르스타인- 및 MMD-GAN과 같은 페널티 기반 GAN 방법의 성공에 대한 이론적 근거를 제공하며, 이를 강건 최적화와 연결한다.