[論文レビュー] On the Differentiability of the Solution to Convex Optimization Problems

Shane Barratt|arXiv (Cornell University)|Apr 13, 2018

Optimization and Variational Analysis参考文献 3被引用数 40

ひとこと要約

本論文は、凸最適化の解の問題データに対する導関数の存在条件を、KKT系に対する暗黙関数定理を用いて導出する。さらに、KKT行列の分解を再利用することでヤコビ行列を効率的に計算する方法を示す。

ABSTRACT

In this paper, we provide conditions under which one can take derivatives of the solution to convex optimization problems with respect to problem data. These conditions are (roughly) that Slater's condition holds, the functions involved are twice differentiable, and that a certain Jacobian matrix is non-singular. The derivation involves applying the implicit function theorem to the necessary and sufficient KKT system for optimality.

研究の動機と目的

• 問題データの変化に対する凸最適化解の感度を研究する動機づけ。
• 解写像が問題データに対して微分可能である条件を提供する。
• 問題パラメータに関する解（および双対変数）のヤコビ行列の式を導出する。

提案手法

• 原始変数、不等式制約、等式制約を含むパラメータ化された凸問題を定式化する。
• パラメータ化された問題に対して、KKT条件を必要十分の最適性の枠組みとして適用する。
• KKT条件を包含する g 関数を構築し、g に対して暗黙関数定理を適用してヤコビ行列を得る。
• KKT系のブロックヤコビ行列 D_x g、D_theta g、および D_theta g を定義・計算する。
• 解の写像のヤコビ行列は -D_z g^{-1} D_theta g と表現できることを示す。
• interior-point 法に典型的な KKT 行列の分解を再利用することで計算効率を議論する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された凸最適化問題の解がデータ theta に関して微分可能である条件は何か？
• RQ2 KKT 系を用いて theta に関する解（および双対変数）のヤコビ行列をどのように計算するか？
• RQ3 ヤコビ行列の計算は内部点法の既存の分解作業を活用して効率化できるか？
• RQ4 結果は二次計画問題の微分化や微分可能な最適化レイヤに関する先行研究とどのように関連するか？

主な発見

• スレーター条件と適切な微分可能性仮定が成り立ち、かつ Jacobian D_x g が正則である場合、解の写像は theta に関して微分可能である。
• 解の写像のヤコビ行列は D_theta s(theta) = - D_z g(z, theta)^{-1} D_theta g(z, theta) によって与えられ、ここで z は (x, lambda, nu) を集めたもの。
• このフレームワークは、二次計画問題の微分結果を一般の凸問題へ拡張する。
• ヤコビ行列は primal-dual 内部点法で使用されると同じ分解を用いて計算でき、再利用が可能になる。
• このアプローチは Amos と Kolter の結果と整合し、一般的な凸最適化設定と明示的なヤコビ公式を提供することで拡張する。