[論文レビュー] Distributional Robustness with IPMs and links to Regularization and GANs

Hisham Husain|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿は、積分確率距離（IPM）を用いた分布的ロバスト最適化（DRO）と機械学習における正則化の間の統一的関係を確立する。任意のIPMにおけるDROが、正則化ペナルティの族に対応することを示し、MMDやウォッサーシュタイン距離に対する既存の結果を回復・拡張するとともに、GANの目的関数を分布的ロバスト性と結びつける。

ABSTRACT

Robustness to adversarial attacks is an important concern due to the fragility of deep neural networks to small perturbations and has received an abundance of attention in recent years. Distributionally Robust Optimization (DRO), a particularly promising way of addressing this challenge, studies robustness via divergence-based uncertainty sets and has provided valuable insights into robustification strategies such as regularization. In the context of machine learning, the majority of existing results have chosen $f$-divergences, Wasserstein distances and more recently, the Maximum Mean Discrepancy (MMD) to construct uncertainty sets. We extend this line of work for the purposes of understanding robustness via regularization by studying uncertainty sets constructed with Integral Probability Metrics (IPMs) - a large family of divergences including the MMD, Total Variation and Wasserstein distances. Our main result shows that DRO under extit{any} choice of IPM corresponds to a family of regularization penalties, which recover and improve upon existing results in the setting of MMD and Wasserstein distances. Due to the generality of our result, we show that other choices of IPMs correspond to other commonly used penalties in machine learning. Furthermore, we extend our results to shed light on adversarial generative modelling via $f$-GANs, constituting the first study of distributional robustness for the $f$-GAN objective. Our results unveil the inductive properties of the discriminator set with regards to robustness, allowing us to give positive comments for several penalty-based GAN methods such as Wasserstein-, MMD- and Sobolev-GANs. In summary, our results intimately link GANs to distributional robustness, extend previous results on DRO and contribute to our understanding of the link between regularization and robustness at large.

研究の動機と目的

• 分布的ロバスト最適化（DRO）と機械学習における正則化の関係を理解すること。
• より広いクラスの積分確率距離（IPM）を用いて、f-発散やウォッサーシュタイン距離を超えた既存のDROフレームワークを拡張すること。
• 異なるIPMが機械学習における既知の正則化ペナルティに対応する仕組みを明らかにすること。
• f-GANを通じて、分布的ロバスト性の観点から敵対的生成モデルの理論的基盤を提供すること。
• GANにおけるディスクライマー集合の誘導的バイアスを、ロバスト性と一般化の観点から説明すること。

提案手法

• 著者らは、MMD、全変動、ウォッサーシュタイン距離を含むクラスに属する積分確率距離（IPM）によって定義された不確実性集合を用いてDROを定式化する。
• 任意のIPMにおけるDRO問題の双対表現を導出し、ロバストな目的関数がペナルティ項を伴う正則化された経験的リスク最小化に対応することを示す。
• ペナルティ項が、MMDでは再生核ヒルバート空間（RKHS）におけるノルムに、ウォッサーシュタイン距離ではリプシッツ制約に等しいことが示される。
• ディスクライマーの最適化をIPMに基づくDROの一種と解釈することで、f-GANの分析を拡張し、そのロバスト性を誘導する性質を明らかにする。
• 理論的分析により、ウォッサーシュタイン・MMD・ソボレフGANといったさまざまなGANの変種が、特定のIPMに基づくDRO問題として解釈可能であることが示される。
• 本手法は、正則化とロバスト性の統一的視点を提供し、異なるIPMがモデルに異なる誘導的バイアスをもたらすことを示している。

実験結果

リサーチクエスチョン

• RQ1 IPMに基づく分布的ロバスト最適化は、機械学習における正則化とどのように関係するか？
• RQ2 異なるIPMを用いたDRO定式化から、自然に生じる既知の正則化ペナルティは何か？
• RQ3 f-GANの目的関数は、分布的ロバスト性の一種として解釈できるか？
• RQ4 異なるGANディスクライマーのアーキテクチャが、ロバスト性の観点でどのような誘導的バイアスをもたらすか？
• RQ5 MMD、ウォッサーシュタイン、ソボレフGANは、それぞれのIPMに基づくDROとどのように関係するか？

主な発見

• 任意のIPMにおけるDROは、IPMの双対表現から導かれるペナルティ項を伴う正則化された経験的リスク最小化問題に対応する。
• 本フレームワークは、MMDおよびウォッサーシュタインDROに関する既存の結果を回復・一般化し、それらがより広範なIPMに基づく正則化スキームの特殊ケースであることを示す。
• ソボレフGANに用いられるような、機械学習で一般的に使われるペナルティ項も、特定のIPMの選択から自然に生じることが示される。
• f-GANの目的関数は、IPMに基づく不確実性集合を通じて、分布的ロバスト性と正式に結びつけられ、GANにおける敵対的訓練の新たな解釈が得られる。
• 分析により、f-GANにおけるディスクライマー集合が、IPMが捉える分布のシフトに対してモデルがロバストであるように制約することで、ロバスト性を誘導することが明らかになった。
• ペナルティベースのGAN手法（ウォッサーシュタイン・MMD-GANなど）の成功に対して、理論的裏付けが与えられ、それらがロバスト最適化に結びついていることが示された。