[論文レビュー] Distributional Smoothing with Virtual Adversarial Training

Takeru Miyato, Shin‐ichi Maeda+3 more|arXiv (Cornell University)|Jan 1, 2016

Adversarial Robustness in Machine Learning被引用数 266

ひとこと要約

本論文は、ラベルを使用せずにモデルの予測のみを用いて、無作為なデータの摂動に対するモデルのロバストネスを最適化することで、局所的分布平滑性を強制する半教師あり学習手法であるバーチャル adversarial training (VAT) を導入する。VAT は MNIST、SVHN、NORB において最先端の性能を達成しており、非常に複雑な生成モデルを除く既存の手法を上回っている。

ABSTRACT

Abstract: We propose local distributional smoothness (LDS), a new notion of smoothness for statistical model that can be used as a regularization term to promote the smoothness of the model distribution. We named the LDS based regularization as virtual adversarial training (VAT). The LDS of a model at an input datapoint is defined as the KL-divergence based robustness of the model distribution against local perturbation around the datapoint. VAT resembles adversarial training, but distinguishes itself in that it determines the adversarial direction from the model distribution alone without using the label information, making it applicable to semi-supervised learning. The computational cost for VAT is relatively low. For neural network, the approximated gradient of the LDS can be computed with no more than three pairs of forward and back propagations. When we applied our technique to supervised and semi-supervised learning for the MNIST dataset, it outperformed all the training methods other than the current state of the art method, which is based on a highly advanced generative model. We also applied our method to SVHN and NORB, and confirmed our method's superior performance over the current state of the art semi-supervised method applied to these datasets.

研究の動機と目的

• ラベル情報に依存せずに局所的分布平滑性を強制することで、モデルの一般化性能を向上させる正則化手法の開発。
• 局所的摂動に対するロバストネスを活用することで、無作為なデータを効果的に活用する半教師あり学習の実現。
• 標準的なバックプロパゲーションに追加で必要な計算量を最小限に抑えた計算効率の高い手法の設計。
• MNIST、SVHN、NORB などの標準的な視覚ベンチマークデータセットにおいて、既存の半教師あり学習手法を上回る性能を達成すること。

提案手法

• 入力データの周囲における小さな摂動後のモデル出力分布と元の出力分布とのKLダイバージェンスとして、局所的分布平滑性（LDS）を定義する。
• ラベルに依存せず、モデル自身の予測分布を用いて最も有害な摂動方向を特定する。
• LDS の近似勾配を、最大で3回の順方向および逆方向伝搬を用いて計算し、効率的な最適化を実現する。
• 無作為なデータに対するLDS損失を最小化することで、訓練中に正則化を適用し、ロバストネスと一般化性能を向上させる。
• 監視付きおよび半教師あり学習の両フレームワークにLDS正則化を統合する。

実験結果

リサーチクエスチョン

• RQ1 局所的分布平滑性を強制することで、半教師あり学習におけるモデルの一般化性能が向上するか？
• RQ2 ラベル情報なしで adversarial 摂動を生成し、ロバストネスを向上させることができるか？
• RQ3 提案手法は、標準的な視覚ベンチマークで既存の半教師あり学習ベースラインを上回る性能を達成するか？
• RQ4 標準的な訓練および他の adversarial 訓練アプローチと比較して、本手法の計算コストはどの程度か？

主な発見

• VAT は、非常に高度な生成モデルに基づく現在の最先端手法を除き、MNIST においてすべての訓練手法を上回る性能を達成した。
• SVHN および NORB において、当時最も優れた半教師あり学習手法を上回った。
• 1回の更新あたり、最大で3回の順方向および逆方向伝搬で済ませ、計算効率が非常に高かった。
• 局所的摂動に対するモデルのロバストネスが、特にラベル付きデータが少ない状況において、一般化性能の向上に顕著に寄与した。