[論文レビュー] An Approximate Shapley-Folkman Theorem

Thomas Kerdreux, Igor Colin+1 more|arXiv (Cornell University)|Dec 22, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用数 7

ひとこと要約

本稿では、分離可能な非凸最適化問題におけるダラティーバグを低減するために、錐表現における制御された近似誤差を許容することで、シャープレー＝フォルクマン定理の近似版を提示する。マウレイの近似カルテーオリの高サンプリングレート版と、制約に対する近似ヘリの定理を活用することで、項の数に伴い有利にスケーリングする安定的できついダラティーバグの境界を導出する。特に、経験的リスク最小化やマルチタスク学習のような有限和問題において顕著である。

ABSTRACT

The Shapley-Folkman theorem shows that Minkowski averages of uniformly bounded sets tend to be convex when the number of terms in the sum becomes much larger than the ambient dimension. In optimization, Aubin and Ekeland [1976] show that this produces an a priori bound on the duality gap of separable nonconvex optimization problems involving finite sums. This bound is highly conservative and depends on unstable quantities, and we relax it in several directions to show that non convexity can have a much milder impact on finite sum minimization problems such as empirical risk minimization and multi-task classification. As a byproduct, we show a new version of Maurey's classical approximate Carathéodory lemma where we sample a significant fraction of the coefficients, without replacement, as well as a result on sampling constraints using an approximate Helly theorem, both of independent interest.

研究の動機と目的

• 非凸有限和最適化における古典的ダラティーバグ境界の過剰な保守性を是正すること。これは、不安定な量に依存する。
• 制御された近似誤差により正確な凸化要件を緩和することで、より安定的できついダラティーバグ境界を構築すること。
• 非線形制約を伴う分離可能な制約付き問題へシャープレー＝フォルクマンフレームワークを拡張し、より広範な適用可能性を実現すること。
• 非復元抽出を用いた、高サンプリングレートのマウレイの近似カルテーオリの新しい版を提供することにより、近似効率を向上させること。
• 近似ヘリの定理を用いた制約抽出結果を導出し、ダラティーバグ境界における有効制約数の tighter 界を得ること。

提案手法

• 集合のミンコフスキー和における近似誤差とダラティーバグのトレードオフを許容する近似シャープレー＝フォルクマン定理を提唱する。
• 非復元抽出（Serfling, Bardenet et al., Schneider）の結果に基づき導出された、マウレイの近似カルテーオリの高サンプリングレート版を用い、顕著な割合の係数を抽出する。
• 近似ヘリの定理（Adiprasito et al., 2019）を適用して制約を抽出し、ダラティーバグ境界における有効制約数を削減する。
• 安定な量、特に非凸性のsupノルム（ρ(f_i), ρ(g_i)）に依存する双対問題の境界を導出する。これは不安定な量に依存するのではなく。
• 近似下でのダラティーバグを分析するために、プライマルおよび双対問題の摂動に基づく定式化（h_cP および h_cD）を導入する。
• 各関数あたり m+2 個以内の非単位重みに制限された係数（λ_ij）を有する錐表現を用いて、ダラティーバグを制御する。

実験結果

リサーチクエスチョン

• RQ1 最適点の錐表現におけるわずかな近似誤差を許容することで、Aubin と Ekeland (1976) の古典的ダラティーバグ境界を改善できるか？
• RQ2 非復元抽出による高い係数抽出率が、マウレイ型表現における近似品質に与える影響は何か？
• RQ3 近似ヘリの定理を用いて制約抽出を形式化することで、ダラティーバグ境界における有効制約数をどれほど削減できるか？
• RQ4 正確な凸包ではなく、非凸性のsupノルムといった安定的で非理想的な量を用いて、どれほどダラティーバグを境界づけられるか？
• RQ5 これらの改善は、経験的リスク最小化やマルチタスク学習などの実用的有限和問題におけるダラティーバグに、どのように影響を与えるか？

主な発見

• 分離可能な非凸問題におけるダラティーバグは、非凸性測度 ρ(f_i) および ρ(g_i) の和に比例する項と、抽出誤差および制約近似に依存する残差項によって境界づけられる。
• ダラティーバグの境界は、安定な量、特に非凸性のsupノルムに依存しており、古典的境界よりもより頑健である。
• 近似ヘリの定理を用いることで、ダラティーバグ境界における有効制約数が削減され、よりきついかつ解釈可能な境界が得られる。
• マウレイの補題の高サンプリングレート版が導出され、非復元抽出による顕著な係数抽出割合が近似効率を向上させることを示している。
• マルチタスク学習および経験的リスク最小化において、タスク数やサンプル数が増加するに従い、非凸性が存在してもダラティーバグは漸近的に消滅する。
• ダラティーバグ境界における残差誤差は、√m(R_v + R_λ M_V)γ によって制御され、ここで R_v および R_λ は単位重みからの逸脱を測り、M_V は重み付き和のノルムを有界にする。