[論文レビュー] Virtual Adversarial Ladder Networks For Semi-supervised Learning

Saki Shinoda, Daniel E. Worrall+1 more|arXiv (Cornell University)|Nov 20, 2017

Anomaly Detection Techniques and Applications参考文献 7被引用数 4

ひとこと要約

本論文は、ラッパーネットワークと階層別仮想 adversarial 訓練（VAT）を組み合わせることで、頑健性と精度を向上させる半教師あり学習モデルである Virtual Adversarial Ladder Networks (LVAN-LW) を提案する。中間の潜在空間に adversarial ノイズを適用することで、MNIST においてクラスあたり 5 ラベルのみで 1.42%±0.12 の誤差率を達成し、最先端の性能を発揮するとともに、adversarial な例に対してベースラインモデルを著しく上回る。

ABSTRACT

Semi-supervised learning (SSL) partially circumvents the high cost of labeling data by augmenting a small labeled dataset with a large and relatively cheap unlabeled dataset drawn from the same distribution. This paper offers a novel interpretation of two deep learning-based SSL approaches, ladder networks and virtual adversarial training (VAT), as applying distributional smoothing to their respective latent spaces. We propose a class of models that fuse these approaches. We achieve near-supervised accuracy with high consistency on the MNIST dataset using just 5 labels per class: our best model, ladder with layer-wise virtual adversarial noise (LVAN-LW), achieves 1.42% +/- 0.12 average error rate on the MNIST test set, in comparison with 1.62% +/- 0.65 reported for the ladder network. On adversarial examples generated with L2-normalized fast gradient method, LVAN-LW trained with 5 examples per class achieves average error rate 2.4% +/- 0.3 compared to 68.6% +/- 6.5 for the ladder network and 9.9% +/- 7.5 for VAT.

研究の動機と目的

• 潜在空間における分布平滑化の共有解釈を通じて、ラッパーネットワークと仮想 adversarial 訓練（VAT）を統合し、半教師あり学習の性能を向上させること。
• 最小限の監視のもとでモデルの汎化性能と頑健性を向上させることで、深層学習におけるラベル付きデータの限界に取り組むこと。
• VAT の adversarial 正則化が、特に低ショット設定下でラッパーネットワークの性能を向上させられるかどうかを検証すること。
• 特に $L_2$-正規化および $L_∞$-ノルム摂動に対する adversarial 攻撃に対するモデルの頑健性を評価すること。
• 半教師ありモデルにおける入力空間と中間潜在空間の平滑化のトレードオフを調査すること。

提案手法

• ラッパーネットワークと VAT をそれぞれ、潜在空間に等方的および非等方的分布平滑化を適用するものとして、新しい解釈を提示する。
• 4 種類の変種を導入：LVAC（仮想 adversarial コスト）、LVAC-LW（階層別コスト）、LVAN（仮想 adversarial ノイズ注入）、LVAN-LW（階層別ノイズ注入）。
• 未教師あり損失の最大曲率方向に仮想 adversarial パーティクルを適用し、潜在表現における局所的平滑性を強制する。
• エンコーダパスに階層別仮想 adversarial ノイズ（LVAN-LW）を注入することで、追加の順方向パスなしに頑健性を向上させる。
• 各層で教師あり交差エントロピー損失、ノイズ除去再構成損失（ラッパー）、および仮想 adversarial 損失（VAT）の組み合わせでモデルを訓練する。
• 頑健性評価のため、$L_2$-正規化された高速勾配法を用いて adversarial な例を生成する。

実験結果

リサーチクエスチョン

• RQ1 仮想 adversarial 訓練は、低ラベルレジーム下での半教師あり学習におけるラッパーネットワークの性能を向上させられるか？
• RQ2 グローバル adversarial 損失と比較して、階層別仮想 adversarial ノイズ注入は、モデルの汎化性能と頑健性にどのように影響するか？
• RQ3 ラッパーネットワークと VAT を組み合わせることで、特に $L_2$-正規化摂動下で adversarial な例に対する頑健性が向上するか？
• RQ4 モデルの精度と安定性の観点から、入力空間と中間潜在空間の平滑化のトレードオフは何か？
• RQ5 クラスあたり 5〜10 ラベルで学習した場合、提案モデルはベースラインと比較して誤差率と一貫性の面でどのように異なるか？

主な発見

• LVAN-LW モデルは、MNIST においてクラスあたり 5 個のラベルでのみ、1.42%±0.12 のテスト誤差率を達成し、標準ラッパーネットワーク（1.62%±0.65）を上回った。
• $L_2$-正規化された adversarial な例において、LVAN-LW は 5 ラベル/クラスで 2.4%±0.3 の誤差率を示した。これに対してラッパーネットワークは 68.6%±6.5、VAT は 9.9%±7.5 であった。
• LVAN-LW は $L_1$ および $L_2$-正規化された adversarial な例において、特に低ショットレジーム（50 及び 100 ラベル/クラス）で優れた性能を示した。
• 階層別仮想 adversarial ノイズ（LVAN-LW）は、コストベースの変種（LVAC-LW）よりも高速で安定しており、順方向パスの回数が少ないためである。
• 仮想 adversarial 損失の指標から、LVAN および LVAN-LW は LVAC や LVAC-LW よりも入力空間でより滑らかであることが確認され、効果的な局所的平滑化が行われていることが示された。
• 性能向上は、特にラベルが少ない状況（50 及び 100 ラベル）で顕著であり、VAT 正則化がタスクが困難な場合に最も効果的であることが示唆された。