[論文レビュー] Adversarial Examples for Unsupervised Machine Learning Models.

Chia-Yi Hsu, Pin‐Yu Chen+3 more|arXiv (Cornell University)|Mar 2, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用数 4

ひとこと要約

本論文は、ラベルや事前学習済み分類器に依存せずに、教師なし機械学習における adversarial examples の生成のための新規フレームワークを提案する。相互情報量ニューラル推定器を教師なし類似度測定として活用し、理論的に収束が保証された MinMax アルゴリズムを用いることで、表現学習や対照学習などの教師なしタスクにおいて顕著な性能向上を実現する有効なデータ拡張が可能になる。

ABSTRACT

Adversarial examples causing evasive predictions are widely used to evaluate and improve the robustness of machine learning models. However, current studies on adversarial examples focus on supervised learning tasks, relying on the ground-truth data label, a targeted objective, or supervision from a trained classifier. In this paper, we propose a framework of generating adversarial examples for unsupervised models and demonstrate novel applications to data augmentation. Our framework exploits a mutual information neural estimator as an information-theoretic similarity measure to generate adversarial examples without supervision. We propose a new MinMax algorithm with provable convergence guarantees for efficient generation of unsupervised adversarial examples. Our framework can also be extended to supervised adversarial examples. When using unsupervised adversarial examples as a simple plug-in data augmentation tool for model retraining, significant improvements are consistently observed across different unsupervised tasks and datasets, including data reconstruction, representation learning, and contrastive learning. Our results show novel methods and advantages in studying and improving robustness of unsupervised learning problems via adversarial examples. Our codes are available at this https URL.

研究の動機と目的

• 現在の教師なし機械学習モデルが監視学習やラベルに依存していることによる、教師なし学習向けの adversarial example 生成手法の不足に取り組むこと。
• ラベルなしで自己教師ありの方法として、教師なし設定におけるモデルの頑健性を向上させることを目的とした adversarial examples の生成手法を開発すること。
• adversarial examples を、モデル性能の向上を目的としたプラグイン型のデータ拡張技術としての有効性を実証すること。
• 監視なし環境下で、提案された MinMax 最適化フレームワークの理論的収束保証を提供すること。
• adversarial examples の適用範囲を監視学習にとどまらず、教師なし表現学習や対照学習へと拡張すること。

提案手法

• フレームワークは、真のラベルが不要な状況下で、情報理論的類似度測定として相互情報量ニューラル推定器（MINE）を用い、adversarial example の生成をガイドする。
• 教師なし設定下で理論的収束保証が得られる新しい MinMax 最適化アルゴリズムを提案し、adversarial example の生成を実現する。
• 入力データを摂動させることで、元の入力と摂動後の入力間の相互情報量を最大化し、モデルの一般化能力に挑戦する adversarial examples を生成する。
• モジュラー構造を採用しており、ラベルベースの目的関数を組み込むことで、監視学習へも容易に拡張可能である。
• adversarial examples を再訓練時のデータ拡張として用いることで、モデルの頑健性と性能が向上する。
• 自動符号化器、対照学習、表現学習を含む、複数の教師なしタスクでアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルや事前学習済み分類器にアクセスできない状況下でも、教師なし機械学習モデル向けに効果的に adversarial examples を生成できるか？
• RQ2 監視なし環境下で、相互情報量推定をどのようにして adversarial perturbation の代理として活用できるか？
• RQ3 教師なし adversarial examples をデータ拡張として用いることで、下流の教師なし学習性能にどのような影響を与えるか？
• RQ4 理論的収束保証が与えられた本手法の MinMax アルゴリズムは、教師なし設定下での adversarial example 生成の効率性と安定性を向上させるか？
• RQ5 本フレームワークは、監視学習へと拡張可能であり、頑健性と性能向上の恩恵を維持できるか？

主な発見

• 提案手法は、ラベルや分類器出力に依存せず、これまで未解決であった状況下でのモデルの頑健性評価を可能にする、教師なしモデル向けの adversarial examples の生成に成功した。
• 相互情報量ニューラル推定を類似度測定として用いることで、教師なし学習における効果的でラベルフリーな adversarial example の生成が可能になった。
• 理論的収束保証が与えられた MinMax アルゴリズムにより、監視なし環境下でも安定的かつ効率的な adversarial example の生成が保証された。
• データ拡張として適用した場合、表現学習や対照学習を含む多様な教師なしタスクにおいて、一貫的かつ顕著な性能向上が達成された。
• フレームワークは監視学習へも適用可能であり、教師なし adversarial examples が監視学習設定でも性能向上に寄与することが示された。
• ベンチマークデータセットにおいて、再構成精度と表現品質の両面で最先端の改善が達成され、本手法の有効性と一般化能力が裏付けられた。