[論文レビュー] Min-Max Optimization without Gradients: Convergence and Applications to Adversarial ML

Sijia Liu, Songtao Lu+6 more|arXiv (Cornell University)|Sep 30, 2019

Adversarial Robustness in Machine Learning参考文献 66被引用数 18

ひとこと要約

本稿では、関数評価のみを用いて勾配を近似するクエリ効率の良いゼロ次勾配推定器と、交互に更新する投影付き確率的勾配降下・上昇法を組み合わせることで、勾配を利用しないブラックボックス機械学習環境における敵対的攻撃を可能にするゼロ次最小最大化最適化フレームワーク、ZO-Min-Maxを提案する。本手法は、$\mathcal{O}(1/T + 1/b + d/q)$ の非線形収束レートを達成し、高次元モデルにおけるブラックボックス回避および汚染攻撃において強力なスケーラビリティと有効性を示している。

ABSTRACT

In this paper, we study the problem of constrained robust (min-max) optimization ina black-box setting, where the desired optimizer cannot access the gradients of the objective function but may query its values. We present a principled optimization framework, integrating a zeroth-order (ZO) gradient estimator with an alternating projected stochastic gradient descent-ascent method, where the former only requires a small number of function queries and the later needs just one-step descent/ascent update. We show that the proposed framework, referred to as ZO-Min-Max, has a sub-linear convergence rate under mild conditions and scales gracefully with problem size. From an application side, we explore a promising connection between black-box min-max optimization and black-box evasion and poisoning attacks in adversarial machine learning (ML). Our empirical evaluations on these use cases demonstrate the effectiveness of our approach and its scalability to dimensions that prohibit using recent black-box solvers.

研究の動機と目的

• 勾配が入手できないブラックボックス設定における制約付き最小最大化最適化の課題に対処すること。
• 一次情報に依存しない、スケーラブルで理論的収束性を保証する敵対的例および汚染攻撃の生成手法を開発すること。
• 非凸・強く凹な設定下におけるゼロ次最小最大化最適化の理論的収束保証を確立すること。
• 実世界の敵対的機械学習応用、特に回避および汚染攻撃における手法の実用的有効性とスケーラビリティを示すこと。

提案手法

• 関数評価のみで勾配を近似するランダム化ゼロ次（ZO）勾配推定器を統合し、最小限のクエリ数で実現する。
• 1ステップ更新を用いた交互に投影付き確率的勾配降下・上昇スキームを採用し、効率的な最適化を実現する。
• アンサンブル攻撃における多様なモデル・クラスペア間の攻撃性能をバランスさせるために重要度重み付けを適用する。
• 高次元空間における勾配の近似に、$q$ 個のランダム方向ベクトルを用いた確率的 ZO 勾配推定器を適用する。
• ステップごとの更新の分散を低減するために、バッチサイズ $b$ のミニバッチ戦略を実装する。
• 目的関数の確率的性質と ZO 推定誤差の両方を考慮した収束バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 関数値クエリのみで動作するゼロ次最小最大化最適化フレームワークは、ブラックボックス設定でも理論的収束性を達成できるか？
• RQ2 敵対的攻撃生成における問題次元の増加に伴い、提案手法 ZO-Min-Max はどのようにスケーリングするか？
• RQ3 重要度重み付けはアンサンブルブラックボックス攻撃のロバストネスにどのような影響を与えるか？
• RQ4 ZO-Min-Max は一次情報に基づくベースラインと比較して、攻撃成功確率およびモデル精度の低下の観点でどのように異なるか？
• RQ5 正則化パラメータを変化させた場合、クリーン精度と汚染効果性の間にはどのようなトレードオフが存在するか？

主な発見

• ZO-Min-Max は、$\\mathcal{O}(1/T + 1/b + d/q)$ の非線形収束レートを達成し、やや緩い条件下でも理論的収束性を示している。
• 本手法は、ブラックボックス回避攻撃において、すべてのモデル・クラスペアで 80% の成功確率を達成するユニバーサルな摂動を効果的に生成した。
• たった 5% の汚染比でも、モデルのテスト精度を顕著に低下させ、データ汚染攻撃における高い有効性を示した。
• 正則化パラメータ $\lambda$ を増加させることで、汚染済みモデルの精度は向上するが、クリーンモデルの精度は低下するため、ロバストネスと精度のトレードオフが確認された。
• ZO-Min-Max が学習する重要度重みは攻撃の難易度と相関しており、M1C1 のようなよりロバストなモデル・クラスペアに高い重みが割り当てられていた。
• 実験的結果から、ZO-Min-Max は回避および汚染攻撃両方の性能において、ZO-Finite-Sum や FO-Min-Max のベースラインを上回っていることが示された。