[論文レビュー] Two-Player Games for Efficient Non-Convex Constrained Optimization

Andrew Cotter, Heinrich Jiang+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Bandit Algorithms Research参考文献 14被引用数 11

ひとこと要約

本稿では、公平性やロバストな機械学習に共通する非凸で微分不可能な制約をもつ最適化問題を解くために、非ゼロ和の2人ゼロ和ゲーム枠組み、すなわちプロキシ・ラグランジアンを提案する。元の制約を微分可能なプロキシ制約から分離することで、勾配ベースの最適化が可能となり、同時に解が高々 $m+1$ 個のモデルに集中することを保証する。これは、従来のラグランジュ法に比べて実用的な効率を著しく向上させる。

ABSTRACT

In recent years, constrained optimization has become increasingly relevant to the machine learning community, with applications including Neyman-Pearson classification, robust optimization, and fair machine learning. A natural approach to constrained optimization is to optimize the Lagrangian, but this is not guaranteed to work in the non-convex setting, and, if using a first-order method, cannot cope with non-differentiable constraints (e.g. constraints on rates or proportions). The Lagrangian can be interpreted as a two-player game played between a player who seeks to optimize over the model parameters, and a player who wishes to maximize over the Lagrange multipliers. We propose a non-zero-sum variant of the Lagrangian formulation that can cope with non-differentiable--even discontinuous--constraints, which we call the "proxy-Lagrangian". The first player minimizes external regret in terms of easy-to-optimize "proxy constraints", while the second player enforces the original constraints by minimizing swap regret. For this new formulation, as for the Lagrangian in the non-convex setting, the result is a stochastic classifier. For both the proxy-Lagrangian and Lagrangian formulations, however, we prove that this classifier, instead of having unbounded size, can be taken to be a distribution over no more than m+1 models (where m is the number of constraints). This is a significant improvement in practical terms.

研究の動機と目的

• フェアネスやロバストな機械学習に共通する非凸で微分不可能な制約最適化における、標準ラグランジュ法の限界を解消すること。
• 比例や割合に基づくフェアネス指標など、不連続または部分微分可能でない制約をもつ問題に対して、1次最適化を可能とすること。
• 解が有限かつ小さなモデル集合に集中するゲーム理論的定式化を構築し、実用的な展開性を向上させること。
• プライマル（モデルパラメータ）とデュアル（ラグランジュ乗数）の両プレイヤーに対して、レギュレーションと制約違反に関する理論的保証を提供すること。

提案手法

• 1人のプレイヤーがプロキシ制約の外部レギュレーションを最小化し、もう1人のプレイヤーが元の制約のスワップレギュレーションを最小化する非ゼロ和2人ゼロ和ゲームを定式化する。
• 微分可能なプロキシ関数 $\tilde{g}_i$ を用いて非微分可能な元の制約 $g_i$ を近似するプロキシ・ラグランジュ定式化を導入し、勾配ベース最適化を可能にする。
• 両プレイヤーに適応的ステップサイズを用いた確率的1次アルゴリズムを採用し、近似ベイジアンオракルと射影更新を用いる。
• ラグランジュ乗数ベクトル $\lambda$ が単体上での定常分布を保つように、固定点射影 $\text{fix}M$ を適用する。
• 外部レギュレーション（モデルパラメータプレイヤー）とスワップレギュレーション（デュアル乗数プレイヤー）の最小化技術を用いる。
• 平均反復列が高確率で $\epsilon_{\theta}$ および $\epsilon_{\lambda}$-最適解に収束することを示す収束バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 機械学習における非凸で微分不可能な制約最適化を扱える2人ゼロ和ゲーム定式化を設計できるか？
• RQ2 フェアネス指標や割合に基づく制約のような不連続な制約をもつ問題に対して、1次最適化手法をどのように適用できるか？
• RQ3 非凸設定において、このようなゲーム理論的アプローチの収束に関する理論的保証はどのようなものか？
• RQ4 元の問題が非凸的かつ滑らかでない場合でも、解が有限かつ小さな数のモデルの確率分布として表現可能か？
• RQ5 この枠組みにおいて、制約違反と目的関数最適性の間のトレードオフは何か？

主な発見

• プロキシ・ラグランジュ定式化により、任意の解が高々 $m+1$ 個のモデルに集中する分布として表現可能であることが保証され、モデルの保存コストと推論コストを著しく削減する。ここで $m$ は制約の数である。
• 確率的1次最適化バージョンにおいて、確率 $1-\delta$ で目的関数最適性ギャップ $\epsilon_{\theta} = 2B_{\Theta}B_{\check{\Delta}}\sqrt{\frac{1+16\ln\frac{2}{\delta}}{T}}$ を達成する。
• 高確率で制約違反が $\epsilon_{\lambda} = 2B_{\Delta}\sqrt{\frac{2(m+1)\ln(m+1)(1+16\ln\frac{2}{\delta})}{T}}$ で有界である。
• 制約が微分不可能であっても、$T$ ラウンドの平均反復列が、目的関数と制約条件の両方を $\epsilon$-許容範囲内に満たすことが保証される。
• 理論的枠組みにより、純粋ナッシュ均衡が存在しない非凸設定においても、実行可能かつ近似的に最適な解への収束を保証する。
• 強双対性に依存しないため、従来のラグランジュ法に比べて非凸設定で優れた性能を示し、実用的かつ有限サポートを持つ解を可能にする。