[論文レビュー] Sequential Convex Programming Methods for A Class of Structured Nonlinear Programming

Zhaosong Lu|arXiv (Cornell University)|Oct 10, 2012

Advanced Optimization Algorithms Research参考文献 23被引用数 17

ひとこと要約

本稿では、滑らかでない非凸成分を含む広範な構造的非線形計画問題（SNLP）のための逐次凸プログラミング（SCP）手法を提案する。各反復で一次の方法を用いて凸部分問題を解く。適切な仮定の下で、方法はKKT点へグローバルに収束し、局所的リプシッツ定数を用いて、単調および非単調な変種の両方で収束が確立される。

ABSTRACT

In this paper we study a broad class of structured nonlinear programming (SNLP) problems. In particular, we first establish the first-order optimality conditions for them. Then we propose sequential convex programming (SCP) methods for solving them in which each iteration is obtained by solving a convex programming problem. Under some suitable assumptions, we establish that any accumulation point of the sequence generated by the methods is a KKT point of the SNLP problems. In addition, we propose a variant of the SCP method for SNLP in which nonmonotone scheme and ``local'' Lipschitz constants of the associated functions are used. A similar convergence result as mentioned above is established.

研究の動機と目的

• 滑らかでない非凸成分を含む広範な構造的非線形計画問題（SNLP）を解くための体系的なアプローチを開発すること。
• リプシッツ勾配仮定の下でSNLP問題の一次の最適性条件を確立すること。
• 各反復で凸部分問題を解くことで、元のSNLP問題の近似解を求める逐次凸プログラミング（SCP）手法を設計すること。
• 適切な仮定の下で、SCP手法がKKT点へグローバルに収束することを証明すること。これには非単調ラインサーチと局所的リプシッツ定数の使用を含む。
• 非単調スキームと局所的に適応するパラメータを用いた変種への収束理論を拡張し、より高いロバストネスを実現すること。

提案手法

• 本手法は、勾配情報と局所的リプシッツ定数を用いて構築された元の問題の凸近似を繰り返し最小化することでSNLP問題を解く。
• 各反復で、滑らか成分を一次のテイラー展開で近似し、凸成分を保持することで凸部分問題を形成する。
• 収束のロバストネスを向上させ、停滞を回避するために、非単調ラインサーチ戦略を用いる。
• 滑らか関数の勾配の局所的リプシッツ定数を用いて凸部分問題を構築することで、適応性と収束性を向上させる。
• 正当化関数と一様連続性を持つレベル集合の使用により収束を分析し、反復列がKKT点に収束することを保証する。
• スパース最適化問題（例：$l_1$、SCAD、$l_q$、対数、キャップド-$l_1$ペナルティ）に適用可能であり、これらはSNLPフレームワークの特別なケースとして再定式化される。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない非凸成分を含む広範な構造的非線形計画問題に対して、逐次凸プログラミング手法を開発できるか？
• RQ2 このような構造的非線形計画問題のKKT点を特徴付ける一次の最適性条件は何か？
• RQ3 SCP手法が元のSNLP問題のKKT点へグローバルに収束するための条件は何か？
• RQ4 非単調ラインサーチと局所的リプシッツ定数は、SNLPのSCPにおける収束行動をどのように改善できるか？
• RQ5 提案手法は、非凸なスパーシティ誘導ペナルティを含むスパース最適化問題に適用可能であり、効果的に解けるか？

主な発見

• 勾配のリプシッツ連続性を含む標準的仮定の下で、SCP手法によって生成される反復列の任意の蓄積点は、元のSNLP問題のKKT点である。
• 非単調ラインサーチ戦略を用いても収束結果は成立し、ロバストネスと収束行動が向上する。
• 部分問題構築に局所的リプシッツ定数を用いることで、手法の適応性と収束特性が向上する。
• 本手法は、$l_1$、SCAD、$l_q$、対数、キャップド-$l_1$ペナルティを含む広範なスパース最適化問題に適用可能であり、これらはSNLPフレームワークの特別なケースとして再定式化される。
• 収束解析は、レベル集合における正当化関数の一様連続性と、滑らか項の凸化による元の問題の近似を目的とする部分問題の使用に依存する。
• 強い凸性や正確なラインサーチを必要とせず、一次情報と凸部分問題の解に依存することで、グローバル収束を達成する。