[論文レビュー] Distributional Smoothing by Virtual Adversarial Examples

Takeru Miyato, Shin‐ichi Maeda+3 more|arXiv (Cornell University)|Jan 1, 2015

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

この論文は、ラベルを一切使用せずに、ラベルなしの入力摂動に対するモデルのロバストネスを最適化することで、局所的分布平滑性（LDS）を強制する半教師あり学習手法であるバーチャル adversarial training（VAT）を導入する。VAT は、勾配に基づく摂動をモデルの出力分布から単独で導出し、最小限の計算コストで MNIST、SVHN、NORB で最先端の性能を達成する。

ABSTRACT

We propose local distributional smoothness (LDS), a new notion of smoothness for statistical model that can be used as a regularization term to promote the smoothness of the model distribution. We named the LDS based regularization as virtual adversarial training (VAT). The LDS of a model at an input datapoint is defined as the KL-divergence based robustness of the model distribution against local perturbation around the datapoint. VAT resembles adversarial training, but distinguishes itself in that it determines the adversarial direction from the model distribution alone without using the label information, making it applicable to semi-supervised learning. The computational cost for VAT is relatively low. For neural network, the approximated gradient of the LDS can be computed with no more than three pairs of forward and back propagations. When we applied our technique to supervised and semi-supervised learning for the MNIST dataset, it outperformed all the training methods other than the current state of the art method, which is based on a highly advanced generative model. We also applied our method to SVHN and NORB, and confirmed our method's superior performance over the current state of the art semi-supervised method applied to these datasets.

研究の動機と目的

• ラベル情報に依存せずに局所的分布平滑性を強制することで、モデルの一般化性能を向上させる正則化手法の開発を目的とする。
• ラベルなしデータを活用し、小さな入力摂動に対するロバストネスを介して、効果的な半教師あり学習を可能にする。
• ベンチマークビジョンデータセットで高い性能を維持しながら、計算効率の高い訓練手法の設計を目的とする。
• ラベルフリーの adversarial 訓練が、既存の半教師ありおよび教師ありベースラインを上回ることを示す。

提案手法

• 局所的分布平滑性（LDS）を定義し、モデルの出力分布とその小さな入力摂動後の分布とのKLダイバージェンスとして定義する。
• ラベルに依存せずに、モデル自身の出力分布から最も不安定な摂動方向を特定する。
• ネットワークを最大3回のフォワードおよびバックワードパスを用いて、LDSの近似勾配を計算する。
• 訓練中にラベルなしデータに adversarial 摂動を適用し、モデルの出力分布を正則化する。
• 教師ありおよび半教師あり学習の両方の損失関数に、LDS 正則化項を統合する。
• 2段階の最適化を採用：まず最悪の摂動方向を特定し、次にその結果生じるKLダイバージェンスを最小化する。

実験結果

リサーチクエスチョン

• RQ1 局所的分布平滑性を強制することで、半教師あり学習におけるモデルの一般化性能が向上するか？
• RQ2 標準的なビジョンベンチマークにおいて、ラベルフリーの adversarial 訓練は、教師ありおよび半教師ありベースラインと比較してどのように性能を発揮するか？
• RQ3 分布平滑性を用いた訓練の計算コストは、標準的な adversarial 訓練と比較してどの程度か？
• RQ4 提案手法は、最先端の生成モデルと同等の性能を達成できるか？

主な発見

• MNIST データセットでは、非常に高度な生成モデルに基づく現在の最先端手法を除き、VAT はすべての手法を上回る性能を達成した。
• SVHN および NORB では、当時最も優れた半教師あり学習手法を上回った。
• 更新ごとに最大3回のフォワードおよびバックワードパスで済ませたため、計算コストが非常に低かった。
• ラベルフリーの adversarial 訓練により、入力摂動に対するモデルのロバストネスが効果的に向上した。
• MNIST、SVHN、NORB といった複数のデータセットにわたり、広範な適用性を示した。