[論文レビュー] On Differentiating Parameterized Argmin and Argmax Problems with Application to Bi-level Optimization

Stephen Jay Gould, Basura Fernando+4 more|arXiv (Cornell University)|Jul 19, 2016

Advanced Optimization Algorithms Research参考文献 12被引用数 118

ひとこと要約

本論文はパラメータ化された argmin/argmax 問題の勾配公式を導出し、制約付きの場合へ拡張し、例示的な事例を用いて階層最適化（bi-level optimization）の文脈での利用を示す。

ABSTRACT

Some recent works in machine learning and computer vision involve the solution of a bi-level optimization problem. Here the solution of a parameterized lower-level problem binds variables that appear in the objective of an upper-level problem. The lower-level problem typically appears as an argmin or argmax optimization problem. Many techniques have been proposed to solve bi-level optimization problems, including gradient descent, which is popular with current end-to-end learning approaches. In this technical report we collect some results on differentiating argmin and argmax optimization problems with and without constraints and provide some insightful motivating examples.

研究の動機と目的

• 上位レベルの目的関数が下位レベルの argmin/argmax 問題の解に依存する階層最適化を動機づける。
• 上位パラメータに対する下位解を微分するための一階微分勾配法を提供する。
• 等式・不等式制約を持つ下位問題への微分結果の拡張。
• ソフトマックス分類器を含む動機づけ例を用いて実践的な計算を示す。
• 勾配ベースの階層学習における不変性性質と実用的な考慮事項を論じる。

提案手法

• g(x)=argmin_y f(x,y) の勾配公式を提示・証明し、スカラー x に対して dg/dx = -f_YY(x,g(x))^{-1} f_XY(x,g(x)) を得る。ベクトル x に一般化してヘッセ行列 n×n および交差微分を含む。
• 適切な条件の下で同じ微分形を用いた argmax への拡張を示す。
• 線形等式制約に拡張し、y が Ay=b のとき g'(x) = -F(F^T f_Y Y F)^{-1}F^T f_XY を導出し、代替のラグランジュ表現を提供する。
• 線形不等式制約をログバリア近似を用いて扱い、バリア項を含む勾配近似を導出する。
• 双重階層設定で実践的な勾配計算を可能にする、非制約・等式制約・不等式制約の定理補助命題の体系的なセットを提供する。
• 勾配計算を示す例と直感的な説明を含む（平均の例、複数の最小点の例、softmax classifier）。

実験結果

リサーチクエスチョン

• RQ1 下位レベルの argmin/argmax 解の感度（勾配）を外側のパラメータに対してどのように計算できるか？
• RQ2 これらの勾配公式は制約付きの下位問題（等式と不等式）にどのように拡張されるか？
• RQ3 これらの微分を階層最適化およびエンドツーエンド学習に適用する際の実践的な指針と例は？
• RQ4 内部目的の単調変換は停留点とその勾配に影響を与えるか？
• RQ5 勾配ベースの階層学習、例えば softmax classifier の最適化やハイパーパラメータの最適化にこれらの結果をどのように活用できるか？

主な発見

• パラメータ化された argmin/argmax のスカラーおよびベクター勾配公式を導出: dg/dx = -f_YY^{-1} f_XY (適切なヘッセ行列の場合)。
• ベクトル x および複数パラメータへの微分をコンパクトな行列形で拡張。
• 線形等式制約を持つ制約ケースの結果を提供。g'(x) は制約の零空間を通る射影を含み、代替のラグランジュ表現もある。
• 不等式制約の取り扱いをログバリア近似を通じて提供し、障壁パラメータが大きくなると無制約解に収束する勾配式を得る。
• softmax classifier の尤度の風景への適用を実証し、モデルパラメータに対する argmax 特徴ベクトルの勾配を含む。
• 内側目的の単調変換に対する停留点の不変性を示した。