[论文解读] Distributional Smoothing with Virtual Adversarial Training

Takeru Miyato, Shin‐ichi Maeda+3 more|arXiv (Cornell University)|Jan 1, 2016

Adversarial Robustness in Machine Learning被引用 266

一句话总结

本文提出了虚拟对抗训练（VAT），一种半监督学习方法，通过仅利用模型预测而非标签，优化模型对未标记数据扰动的鲁棒性，从而实现局部分布平滑。VAT在MNIST、SVHN和NORB数据集上取得了当前最优性能，仅在高度复杂的生成模型之外超越了现有方法。

ABSTRACT

Abstract: We propose local distributional smoothness (LDS), a new notion of smoothness for statistical model that can be used as a regularization term to promote the smoothness of the model distribution. We named the LDS based regularization as virtual adversarial training (VAT). The LDS of a model at an input datapoint is defined as the KL-divergence based robustness of the model distribution against local perturbation around the datapoint. VAT resembles adversarial training, but distinguishes itself in that it determines the adversarial direction from the model distribution alone without using the label information, making it applicable to semi-supervised learning. The computational cost for VAT is relatively low. For neural network, the approximated gradient of the LDS can be computed with no more than three pairs of forward and back propagations. When we applied our technique to supervised and semi-supervised learning for the MNIST dataset, it outperformed all the training methods other than the current state of the art method, which is based on a highly advanced generative model. We also applied our method to SVHN and NORB, and confirmed our method's superior performance over the current state of the art semi-supervised method applied to these datasets.

研究动机与目标

• 开发一种正则化技术，通过在不依赖标签信息的情况下强制实现局部分布平滑，提升模型泛化能力。
• 通过利用对局部扰动的鲁棒性，实现对未标记数据的有效半监督学习。
• 设计一种计算效率高的方法，其额外计算量仅略高于标准反向传播。
• 在MNIST、SVHN和NORB等标准视觉数据集上超越现有半监督学习方法。

提出的方法

• 提出局部分布平滑（LDS），定义为模型在给定输入附近经过小幅扰动后输出分布与原始输出分布之间的KL散度。
• 利用模型自身的预测分布确定最具破坏性的扰动方向，避免依赖标签信息。
• 通过最多三次前向和反向传播近似计算LDS的梯度，实现高效优化。
• 通过在未标记数据上最小化LDS损失来实现训练过程中的正则化，从而促进鲁棒性和泛化能力。
• 将LDS正则化整合到监督学习与半监督学习框架中。

实验结果

研究问题

• RQ1 在半监督学习中，强制实现局部分布平滑是否能提升模型泛化能力？
• RQ2 能否在不依赖标签信息的情况下生成对抗性扰动以提升鲁棒性？
• RQ3 所提出的方法是否在标准视觉基准数据集上优于现有半监督学习基线方法？
• RQ4 该方法的计算成本与标准训练及其他对抗训练方法相比如何？

主要发现

• 在MNIST上，VAT的性能超越了除当前最先进方法（基于高度先进的生成模型）外的所有训练方法。
• 在SVHN和NORB上，VAT优于当时最先进的半监督学习方法。
• 该方法每轮更新最多仅需三次前向和反向传播，计算效率高。
• 模型对局部扰动的鲁棒性显著提升了泛化能力，尤其在标签数据较少的情况下表现更优。