[論文レビュー] Robustness to Adversarial Perturbations in Learning from Incomplete Data

Amir Najafi, Shin‐ichi Maeda+2 more|arXiv (Cornell University)|May 24, 2019

Adversarial Robustness in Machine Learning被引用数 33

ひとこと要約

SSLとDRLを統合する半教師あり分布的頑健学習フレームワーク（SSDRL）で、SGDベースのアルゴリズムと一般化保証を提供し、MNIST、SVHN、CIFAR-10で評価される。

ABSTRACT

What is the role of unlabeled data in an inference problem, when the presumed underlying distribution is adversarially perturbed? To provide a concrete answer to this question, this paper unifies two major learning frameworks: Semi-Supervised Learning (SSL) and Distributionally Robust Learning (DRL). We develop a generalization theory for our framework based on a number of novel complexity measures, such as an adversarial extension of Rademacher complexity and its semi-supervised analogue. Moreover, our analysis is able to quantify the role of unlabeled data in the generalization under a more general condition compared to the existing theoretical works in SSL. Based on our framework, we also present a hybrid of DRL and EM algorithms that has a guaranteed convergence rate. When implemented with deep neural networks, our method shows a comparable performance to those of the state-of-the-art on a number of real-world benchmark datasets.

研究の動機と目的

• ラベルなしデータが敵対的な分布シフト下で学習を支援できる動機付け。
• Wassersteinの曖昧集合の下で、半教師あり学習と分布的頑健学習を結びつけるフレームワークを開発する。
• 新しい adversarial Rademacher 複雑性と一般化境界を含む理論的保証を提供する。
• SSDRLの収束保証を持つ最適化アルゴリズムを提案する。
• 深層ネットワークを用いた実データセットで競争力のある実験性能を示す。

提案手法

• ラベル付きデータとラベルなしデータの整合的な分布集合を定義することで、DRLを部分ラベルデータに拡張する。
• パラメータ化された損失項を介して、ラベルなしデータにソフトラベルを付与する自己学習方式を採用し、過学習（楽観）を避けるかハードラベル（悲観）を避ける。
• SSDRLの目的関数を、Wassersteinボール内の分布Sに対する下限（infimum）と、ラベルなしデータの正則化エントロピー項（式5）として定義する。
• 内部最適化がソフトミン演算子（定義3および式6–8）を介して解析的解を持つことを示す。
• SSDRL目的関数の局所解への収束保証を有する確率的勾配降下法アルゴリズム（ Algorithm 1）を提供する（定理2）。
• 部分ラベルを伴う敵対的摂動に対処するための新しい Semi-Supervised Monge (SSM) Rademacher複雑性を用いて一般化境界を導出する（セクション2.3）。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習において、ラベルなしデータをどのように活用して分布的な敵対性に対するロバスト性を高められるか。
• RQ2 Wasserstein摂動下でSSLと分布的頑健学習を組み合わせたときの理論的一般化保証は何か。
• RQ3 深層ニューラルネットワークにおいて、SSDRLの収束保証を持つ実用的な最適化アルゴリズムを開発できるか。
• RQ4 提案されたSSARベースの目的関数は、既存のDRLとSSL手法とどう関係し、楽観性と悲観性のラベル割り当ての影響はどうか。

主な発見

• SSDRLはSSLとDRLを統合し、半教師あり設定における分布的な摂動に対する頑健性を提供する。
• ラベルなしデータのソフトラベル付与とWassersteinベースの敵対的リスク目的を組み合わせた二重最適化を導入。
• 提案された SGD アルゴリズムは、指定条件の下での収束速度を保証する（O(T^{-1/2})）。
• 敵対的半教師あり学習に一般化保証を提供する新規のSSM Rademacher複雑性。
• MNIST、SVHN、CIFAR-10で、SSDRLは疑似ラベル付与法や監督付きDRLを上回るか同等の性能を示し、いくつかのデータセットで競争力のあるVAT性能を示す。