[論文レビュー] Proximal Point Methods for Optimization with Nonconvex Functional Constraints.

Digvijay Boob, Qi Deng+1 more|arXiv (Cornell University)|Aug 7, 2019

Optimization and Variational Analysis被引用数 4

ひとこと要約

本稿では、非凸関数的制約を伴う非凸最適化のための新しいプロキシマル点法を提案し、問題を凸部分問題の系列に変換する。適切な条件下で、$O(1/ε)$反復で $ε$-KKT点に収束することを確立し、不正確なバージョンは収束速度を保つ。

ABSTRACT

Nonconvex optimization is becoming more and more important in machine learning and operations research. In spite of recent progresses, the development of provably efficient algorithm for optimization with nonconvex functional constraints remains open. Such problems have potential applications in risk-averse machine learning, semisupervised learning and robust optimization among others. In this paper, we introduce a new proximal point type method for solving this important class of nonconvex problems by transforming them into a sequence of convex constrained subproblems. We establish the convergence and rate of convergence of this algorithm to the KKT point under different types of constraint qualifications. In particular, we prove that our algorithm will converge to an $\epsilon$-KKT point in $O(1/\epsilon)$ iterations under a properly defined condition. For practical use, we present inexact variants of this approach, in which approximate solutions of the subproblems are computed by either primal or primal-dual type algorithms, and establish their associated rate of convergence. To the best of our knowledge, this is the first time that proximal point type method is developed for nonlinear programing with nonconvex functional constraints, and most of the convergence and complexity results seem to be new in the literature.

研究の動機と目的

• 非凸関数的制約を伴う非凸最適化のための、証明可能に効率的なアルゴリズムの不足に対処する。
• 非凸問題を凸部分問題の系列に変換するフレームワークを構築する。
• さまざまな制約準拠の下でKKT点への収束を確立する。
• アルゴリズムの正確および不正確なバージョンの両方について、複雑度の上限と収束速度の分析を提供する。
• 非凸制約を伴う非線形計画法にプロキシマル点法を拡張し、文献における空白を埋める。

提案手法

• 元の非凸問題から導かれる凸部分問題を繰り返し解くプロキシマル点型のアルゴリズムを提案する。
• 正則化項を用いて部分問題の解を安定化させ、収束を保証する。
• 制約準拠を適用して、KKT点への理論的収束保証を確立する。
• 部分問題をプライマルまたはプライマル・デュアルアルゴリズムを用いて近似的に解く不正確なバージョンを導入する。
• 部分問題の精度を制限することで、不正確なバージョンの収束速度を確立する。
• プロキシマル正則化を活用して非凸性に対処し、グローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸関数的制約を伴う非線形計画問題に、プロキシマル点法を効果的に適応できるか？
• RQ2 異なる制約準拠の下で、このような手法にどのような収束保証を確立できるか？
• RQ3 この設定で $ε$-KKT点に到達するための反復複雑度は何か？
• RQ4 部分問題の不正確な解が、全体の収束速度および複雑度にどのように影響するか？
• RQ5 このクラスの非凸最適化問題に関して、収束性および複雑度についての新しい理論的結果は存在するか？

主な発見

• 適切に定義された制約準拠の下で、提案されたアルゴリズムは $O(1/ε)$ 反復で $ε$-KKT点に収束する。
• この手法により、非凸問題が凸部分問題の系列に変換され、安定的かつ収束的な最適化が可能になる。
• 部分問題が十分な精度で解かれる限り、不正確なバージョンも $O(1/ε)$ の同じ収束速度を維持する。
• 複数のタイプの制約準拠の下で、KKT点への理論的収束が確立されている。
• 私たちの知る限り、これは非凸関数的制約を伴う非線形計画問題に特化した最初のプロキシマル点法である。
• 提示された収束性および複雑度の結果の多くは、このクラスの問題に関して、文献において新規であると思われる。