[論文レビュー] Distributionally Robust Optimization and Generalization in Kernel Methods

Matthew Staib, Stefanie Jegelka|arXiv (Cornell University)|May 26, 2019

Probabilistic and Robust Engineering Design被引用数 24

ひとこと要約

本稿では、最大平均差分（MMD）の不確実性集合を用いた分布ロバスト最適化（DRO）を導入し、損失関数のヒルバートノルムによる正則化と概ね同等であることを示している。ガウスカーネルリッジ回帰に対する新しい一般化の証明を提供し、分散に基づく正則化を一般化する計算的に実行可能な近似を導出している。

ABSTRACT

Distributionally robust optimization (DRO) has attracted attention in machine learning due to its connections to regularization, generalization, and robustness. Existing work has considered uncertainty sets based on phi-divergences and Wasserstein distances, each of which have drawbacks. In this paper, we study DRO with uncertainty sets measured via maximum mean discrepancy (MMD). We show that MMD DRO is roughly equivalent to regularization by the Hilbert norm and, as a byproduct, reveal deep connections to classic results in statistical learning. In particular, we obtain an alternative proof of a generalization bound for Gaussian kernel ridge regression via a DRO lense. The proof also suggests a new regularizer. Our results apply beyond kernel methods: we derive a generically applicable approximation of MMD DRO, and show that it generalizes recent work on variance-based regularization.

研究の動機と目的

• 既存のφ-発散およびワルシャー形式のDRO不確実性集合が、真のデータ分布を除外するか、強い仮定を必要とするという限界を是正すること。
• 真のデータ分布を妥当な半径仮定のもとで含む、最大平均差分（MMD）を用いた新しいDROフレームワークの開発。
• MMD DROと損失関数の再生核ヒルバート空間（RKHS）におけるヒルバートノルムによる正則化との理論的関係の確立。
• カーネル法を超えて適用可能な、計算的に効率的なMMD DROの近似の導出。
• 一般化解析に基づき、ガウスカーネルリッジ回帰のための新しい正則化子の提案。

提案手法

• MMD距離に基づき、経験分布からの不確実性集合を定義する分布ロバスト最適化問題としてMMD DROを形式化する。
• MMD DROが、再生核ヒルバート空間における損失関数のヒルバートノルム ∥ℓ_f∥_ℋ に対する正則化と概ね同等であることを証明する。
• サポート制約のもとでのDRO目的関数の閉形式近似を導出し、カーネル行列と損失ベクトルを含む非凸な正則化子を導出する。
• 帯域幅が小さい場合、または単位行列カーネルの場合、この正則化子が √n スケーリングを伴う分散正則化に簡略化されることを示す。
• 任意のカーネルへの近似の一般化を行い、特定のカーネル構造（例：K = aI + b11ᵀ）のもとで、正則化子が分散正則化と等価であることを示す。
• カーネルリッジ回帰のための新しい正則化子を提案：Hilbertノルム解析に基づき、∥f∥²_σ の代わりに ∥f²∥_{σ/√2} を正則化する。

実験結果

リサーチクエスチョン

• RQ1 MMDに基づくDROは、φ-発散およびワルシャー形式のDROと比較して、分布カバレッジと計算的実行可能性の面でどのように異なるか？
• RQ2 MMD DROと損失関数のRKHSにおける正則化との理論的関係は何か？
• RQ3 MMD DROは、カーネルリッジ回帰に対してタイトな一般化境界を導出できるか？ また、標準的な境界と比較するとどうなるか？
• RQ4 MMD DROの計算的に効率的な近似は、既存の分散に基づく正則化法を一般化できるか？
• RQ5 MMD DROから導出された新しい正則化子は、実際の応用において一般化性能を向上させるか？

主な発見

• MMD DROは、損失関数のヒルバートノルム ∥ℓ_f∥_ℋ による正則化と概ね同等であり、一般化の新たな理論的枠組みを提供する。
• ガウスカーネルリッジ回帰において、MMD DROを用いた一般化境界は、標準的な境界と小さな定数要因の差異を除いて一致する。
• 解析により、ガウスカーネルリッジ回帰のための新たな正則化子が明らかになった：∥f∥²_σ の代わりに ∥f²∥_{σ/√2} を正則化することで、ハイパーパrameterチューニングへの感受性が低くなる。
• MMD DROの近似により、分散に基づく正則化を一般化する正則化子が得られ、カーネルが K = aI + b11ᵀ の形をとる場合に等価性が成立する。
• 実験では、提案された正則化子が、容易な領域および困難な領域の両方で標準的なチホノフ正則化を上回り、λが最適でない場合の性能低下が遅やかであることが示された。
• MMD DROフレームワークは、φ-発散集合のサポート制限やワルシャー形式DROの強い仮定を回避し、よりロバストで一般化可能な代替手法を提供する。