[論文レビュー] A Value-Function-based Interior-point Method for Non-convex Bi-level Optimization

Risheng Liu, Xuan Liu+3 more|arXiv (Cornell University)|Jun 15, 2021

Sparse and Compressive Sensing Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、非凸二段階最適化のための新たな勾配ベース手法BVFIMを提案する。BVFIMは、価値関数に基づく対数バリア内点法を用いて、二段階問題を滑らかで制約のない部分問題の系列に変換する。ヘシアンやヤコビアン・ベクトル積の計算を避け、凸性の仮定を必要としないことで、ハイパーパrameter最適化やデータハイパークリーニングなどの非凸タスクにおいて、優れた効率性と頑健性を達成する。

ABSTRACT

Bi-level optimization model is able to capture a wide range of complex learning tasks with practical interest. Due to the witnessed efficiency in solving bi-level programs, gradient-based methods have gained popularity in the machine learning community. In this work, we propose a new gradient-based solution scheme, namely, the Bi-level Value-Function-based Interior-point Method (BVFIM). Following the main idea of the log-barrier interior-point scheme, we penalize the regularized value function of the lower level problem into the upper level objective. By further solving a sequence of differentiable unconstrained approximation problems, we consequently derive a sequential programming scheme. The numerical advantage of our scheme relies on the fact that, when gradient methods are applied to solve the approximation problem, we successfully avoid computing any expensive Hessian-vector or Jacobian-vector product. We prove the convergence without requiring any convexity assumption on either the upper level or the lower level objective. Experiments demonstrate the efficiency of the proposed BVFIM on non-convex bi-level problems.

研究の動機と目的

• 機械学習応用における非凸二段階最適化問題を効率的に解く課題に対処すること。
• 上位または下位の目的関数が凸でない場合に、ヘシアンやヤコビアン積分を必要とする既存の勾配ベース手法の限界を克服すること。
• 上位または下位の目的関数がいずれも凸でない非凸二段階問題に対して、スケーラブルかつ収束性を有するアルゴリズムを開発すること。
• ハイパーパrameterチューニング、ニューラルアーキテクチャ探索、メタラーニングなどの階層的学習タスクにおいて、効果的な最適化を可能にすること。
• 最小限の仮定の下で理論的収束保証を提供すること。特に、下位問題の解の一意性を要件としないこと。

提案手法

• 下位問題の価値関数を用いて二段階問題を再定式化し、下位問題の最適性条件を上位問題の目的関数に埋め込む。
• 正則化された価値関数に対数バリアペナルティを適用して実行可能性を強制し、制約付き二段階問題を滑らかで制約のない部分問題の系列に変換する。
• 下位問題の価値関数に正則化技術を適用し、微分可能性と数値的安定性を確保する。
• ヘシアン・ベクトル積やヤコビアン・ベクトル積を計算せず、勾配ベースの手法を用いて得られた滑らかな部分問題を解く。
• 反復ごとに減少させる適応的ペナルティパラメータ戦略を採用し、収束性と精度のバランスを取る。
• 陰関数定理とスムージング技術を活用して微分可能性を維持し、効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 上位または下位の目的関数がいずれも凸でない非凸二段階最適化問題に対して、凸性を要件としない勾配ベース手法を設計できるか？
• RQ2 ヘシアンやヤコビアン・ベクトル積の計算コストを回避しつつ、収束性を維持できるか？
• RQ3 提案手法である価値関数に基づく内点法は、既存の勾配ベース手法と比較して収束速度と解の品質においてどのように差をつけるか？
• RQ4 正則化とペナルティパラメータの適応戦略が、収束行動と最終的な解の品質に与える影響は何か？
• RQ5 本手法は、データハイパークリーニングやハイパーパrameter最適化といった実世界の非凸二段階タスクを効果的に処理できるか？

主な発見

• BVFIMは、上位または下位の目的関数に凸性を仮定せず、二段階問題の停留点に収束することを示した。
• ヘシアン・ベクトル積やヤコビアン・ベクトル積の計算を回避することで、従来の勾配ベース手法と比較して著しく計算コストを低減した。
• 汚染されたラベルを含むFashionMNISTデータセットにおいて、BVFIMはテストF1スコア91.19%を達成し、EGBM（88.24%）およびIGBM（84.31%）を両方の指標で上回った。
• ハイパーパrameter最適化タスクでは、特に高次元の下位問題パラメータを有するCIFAR10のような大規模データセットにおいて、より速い収束と優れた一般化性能を示した。
• 実験から、減少する正則化パラメータを使用することで最適な収束が得られ、固定またはゼロの正則化では上位変数の性能が劣化することが分かった。
• 収束行動は内側反復回数Lに敏感である。Lが小さい値（例：L=1）の場合、上位変数xの収束が加速され、x*が主な目的である場合に適している。