[论文解读] Distributional Smoothing by Virtual Adversarial Examples

Takeru Miyato, Shin‐ichi Maeda+3 more|arXiv (Cornell University)|Jan 1, 2015

Adversarial Robustness in Machine Learning被引用 2

一句话总结

本文提出了虚拟对抗训练（VAT），一种半监督学习方法，通过优化模型对小规模无标签输入扰动的鲁棒性，实现局部分布平滑性（LDS），而无需使用标签。VAT 利用仅基于模型输出分布的基于梯度的扰动，在 MNIST、SVHN 和 NORB 上实现了最先进性能，且计算开销极低。

ABSTRACT

We propose local distributional smoothness (LDS), a new notion of smoothness for statistical model that can be used as a regularization term to promote the smoothness of the model distribution. We named the LDS based regularization as virtual adversarial training (VAT). The LDS of a model at an input datapoint is defined as the KL-divergence based robustness of the model distribution against local perturbation around the datapoint. VAT resembles adversarial training, but distinguishes itself in that it determines the adversarial direction from the model distribution alone without using the label information, making it applicable to semi-supervised learning. The computational cost for VAT is relatively low. For neural network, the approximated gradient of the LDS can be computed with no more than three pairs of forward and back propagations. When we applied our technique to supervised and semi-supervised learning for the MNIST dataset, it outperformed all the training methods other than the current state of the art method, which is based on a highly advanced generative model. We also applied our method to SVHN and NORB, and confirmed our method's superior performance over the current state of the art semi-supervised method applied to these datasets.

研究动机与目标

• 开发一种正则化技术，通过强制实现局部分布平滑性来提升模型泛化能力，且不依赖标签信息。
• 通过利用对小规模输入扰动的鲁棒性，实现对无标签数据的有效半监督学习。
• 设计一种计算高效且在基准视觉数据集上保持高性能的训练方法。
• 证明无标签对抗训练相较于现有半监督和监督基线方法的优越性。

提出的方法

• 提出局部分布平滑性（LDS），定义为模型输出分布与其在小规模输入扰动后分布之间的 KL 散度。
• 利用模型自身的输出分布来确定最具破坏性的扰动方向，避免依赖标签。
• 通过最多三次前向和反向传播计算 LDS 的近似梯度。
• 在训练过程中对无标签数据应用对抗扰动，以正则化模型的输出分布。
• 将 LDS 正则化项整合到监督和半监督学习的损失函数中。
• 采用两步优化：首先寻找最坏情况的扰动方向，然后最小化由此产生的 KL 散度。

实验结果

研究问题

• RQ1 强制实现局部分布平滑性是否能提升半监督学习中的模型泛化能力？
• RQ2 无标签对抗训练与标准视觉基准上的监督和半监督基线相比表现如何？
• RQ3 与标准对抗训练相比，使用分布平滑训练的计算成本是多少？
• RQ4 所提出的方法能否实现与最先进生成模型相当的性能？

主要发现

• 在 MNIST 数据集上，VAT 的性能优于除基于高度先进生成模型的当前最先进方法外的所有方法。
• 在 SVHN 和 NORB 上，VAT 超过了当时的最先进半监督学习方法。
• 每次更新最多需要三次前向和反向传播，表明计算开销极低。
• 通过无标签对抗训练，模型对输入扰动的鲁棒性得到有效提升。
• 该技术在多个数据集（包括 MNIST、SVHN 和 NORB）上均表现出良好泛化能力，证明了其广泛适用性。