[论文解读] Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs

Alexia Jolicoeur‐Martineau, Ioannis Mitliagkas|arXiv (Cornell University)|Oct 15, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用 12

一句话总结

本文将最大-margin分类器（MMCs）推广至任意范数和非线性函数，揭示支持向量机（SVMs）是其特例。研究表明，MMCs对应于积分概率度量（IPMs）或梯度范数惩罚分类器，直接将其与惩罚梯度范数的生成对抗网络（GANs）联系起来——表明在Wasserstein、标准、最小二乘和铰链GAN中采用梯度惩罚的判别器即为MMCs。此外，本文进一步证明，使用铰链损失时，$L^\infty$-范数惩罚相比$L^2$-范数惩罚能获得更优的GAN性能，并推导出相对性GAN的边界表达式。

ABSTRACT

We generalize the concept of maximum-margin classifiers (MMCs) to arbitrary norms and non-linear functions. Support Vector Machines (SVMs) are a special case of MMC. We find that MMCs can be formulated as Integral Probability Metrics (IPMs) or classifiers with some form of gradient norm penalty. This implies a direct link to a class of Generative adversarial networks (GANs) which penalize a gradient norm. We show that the Discriminator in Wasserstein, Standard, Least-Squares, and Hinge GAN with Gradient Penalty is an MMC. We explain why maximizing a margin may be helpful in GANs. We hypothesize and confirm experimentally that $L^\infty$-norm penalties with Hinge loss produce better GANs than $L^2$-norm penalties (based on common evaluation metrics). We derive the margins of Relativistic paired (Rp) and average (Ra) GANs.

研究动机与目标

• 将最大-margin分类器（MMCs）的概念推广至任意范数和非线性函数，超越$L^2$-范数和线性情形。
• 建立MMCs与积分概率度量（IPMs）之间的理论联系，尤其在梯度范数惩罚的背景下。
• 证明多种GAN变体（Wasserstein、标准、最小二乘、铰链）在采用梯度惩罚时，其判别器均为MMCs的实例。
• 研究通过$L^\infty$-范数惩罚最大化边界是否相比$L^2$-范数惩罚能提升GAN训练效果。
• 在广义MMCs框架下，推导出相对性配对（Rp）和平均（Ra）GAN的边界表达式。

提出的方法

• 利用统一的优化框架，将最大-margin分类器（MMCs）的概念推广至任意范数和非线性函数。
• 将MMCs重新表述为积分概率度量（IPMs），建立其与概率测度及数据分布期望之间的联系。
• 证明带有范数惩罚的MMCs等价于梯度范数惩罚分类器，从而在理论上建立与梯度惩罚GAN的桥梁。
• 分析多种GAN变体（Wasserstein、标准、最小二乘、铰链）在采用梯度惩罚时的判别器，并证明其与MMCs等价。
• 基于广义MMCs框架，推导出相对性配对（Rp）和平均（Ra）GAN的边界表达式。
• 通过标准评估指标，对比铰链损失GAN中$L^2$-范数与$L^\infty$-范数惩罚的实验表现。

实验结果

研究问题

• RQ1 如何将最大-margin分类器推广至超越$L^2$-范数和线性函数的任意范数与非线性场景？
• RQ2 MMCs、积分概率度量（IPMs）与梯度范数惩罚分类器之间存在何种理论关系？
• RQ3 为何在GAN中最大化边界能提升性能？范数选择（$L^2$ vs. $L^\infty$）如何影响这一效果？
• RQ4 在铰链损失GAN中，$L^\infty$-范数惩罚是否能在常见GAN评估指标上超越$L^2$-范数惩罚？
• RQ5 在广义MMCs框架下，相对性配对（Rp）和平均（Ra）GAN的显式边界表达式是什么？

主要发现

• 采用梯度惩罚的Wasserstein、标准、最小二乘和铰链GAN中的判别器，形式上等价于最大-margin分类器（MMC）。
• MMCs可被表述为积分概率度量（IPMs），从而在度量学习与鲁棒分类之间建立理论联系。
• 实验结果证实，使用铰链损失时，$L^\infty$-范数惩罚相比$L^2$-范数惩罚在标准评估指标上能生成性能更优的GAN。
• 推导出相对性配对（Rp）GAN的边界，并证明其与广义MMCs框架一致。
• 同样推导出相对性平均（Ra）GAN的边界，拓展了对相对性GAN的理论理解。
• 该理论框架解释了为何边界最大化可能提升GAN的泛化能力与训练稳定性。