[論文レビュー] Proximally Constrained Methods for Weakly Convex Optimization with Weakly Convex Constraints.

Runchao Ma, Qihang Lin+1 more|arXiv (Cornell University)|Aug 5, 2019

Sparse and Compressive Sensing Techniques参考文献 57被引用数 8

ひとこと要約

本稿では、弱凸な目的関数と弱凸な制約を伴う弱凸最適化のための近接制約付き汎化勾配法を提案する。この手法は、近接正則化を用いて強い凸性を確保する一連の強い凸部分問題を解く。均一なスレイター条件のもとで、ほぼ停留立点に収束するための計算複雑性の上限を確立し、このクラスの制約付き非凸問題に対する、初めての保証付き効率的アルゴリズムを提供する。

ABSTRACT

Optimization models with non-convex constraints arise in many tasks in machine learning, e.g., learning with fairness constraints or Neyman-Pearson classification with non-convex loss. Although many efficient methods have been developed with theoretical convergence guarantees for non-convex unconstrained problems, it remains a challenge to design provably efficient algorithms for problems with non-convex functional constraints. This paper proposes a class of subgradient methods for constrained optimization where the objective function and the constraint functions are are weakly convex. Our methods solve a sequence of strongly convex subproblems, where a proximal term is added to both the objective function and each constraint function. Each subproblem can be solved by various algorithms for strongly convex optimization. Under a uniform Slater's condition, we establish the computation complexities of our methods for finding a nearly stationary point.

研究の動機と目的

• 機械学習分野における弱凸な目的関数と弱凸な制約を伴う最適化問題に対して、保証付き効率的アルゴリズムが不足しているという問題に対処すること。
• 非凸な目的関数と制約を扱いながら、ほぼ停留立点への収束を保証する手法を設計すること。
• 均一なスレイター条件のもとで、近似停留立点を求めるための計算複雑性の上限を確立すること。
• 理論的保証とともにより広範な非凸制約問題に近接法の適用範囲を拡大すること。

提案手法

• 目的関数および各制約関数に近接項を追加することで、一連の強い凸部分問題を解く。
• 各部分問題は、強い凸性を保証する近接正則化を用いて構築され、強い凸問題に適した効率的ソルバーの利用を可能にする。
• アルゴリズムは、元の問題の正則化されたバージョンを繰り返し最小化する。近接項により部分問題が安定化される。
• 収束性は、制約の可解性を保証し、複雑性解析を可能にする均一なスレイター条件のもとで分析される。
• 非滑らかな弱凸関数に対しては汎化勾配情報を利用し、標準的な汎化勾配スキームに近接安定化を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 近接正則化を用いて、弱凸な制約付き最適化問題に対して保証付き収束するアルゴリズムを設計できるか？
• RQ2 このような制約付き非凸問題において、ほぼ停留立点を求めるための計算複雑性は何か？
• RQ3 均一なスレイター条件は、提案手法の収束性および複雑性にどのように影響を与えるか？
• RQ4 既存の汎化勾配法は、近接安定化を用いて非凸制約を扱えるように拡張可能か？

主な発見

• 均一なスレイター条件のもとで、ε-近似停留立点を求めるための計算複雑性がO(1/ε²)であることが達成された。
• 近接正則化の使用により、弱凸問題が強い凸部分問題に変換され、標準的なソルバーによる効率的解法が可能になった。
• 均一なスレイター条件の仮定のもとで、ほぼ停留立点への収束が保証され、制約の可解性が確保される。
• 本手法は、弱凸制約付き最適化の文脈における近接汎化勾配法の初めての複雑性解析を提供する。