[논문 리뷰] Sequential Convex Programming Methods for A Class of Structured Nonlinear Programming

Zhaosong Lu|arXiv (Cornell University)|2012. 10. 10.

Advanced Optimization Algorithms Research참고 문헌 23인용 수 17

한 줄 요약

이 논문은 비선형 프로그래밍(SNLP) 문제의 광범위한 클래스를 위한 순차적 볼록 프로그래밍( SCP) 방법을 제안한다. 각 반복 단계에서 일阶 방법을 사용하여 볼록 하위문제를 해결한다. 적절한 가정 하에, 이 방법은 KKT 점으로 전역 수렴하며, 국소 리프시츠 상수를 사용하여 단조 및 비단조 방법 모두에 대해 수렴성이 확립된다.

ABSTRACT

In this paper we study a broad class of structured nonlinear programming (SNLP) problems. In particular, we first establish the first-order optimality conditions for them. Then we propose sequential convex programming (SCP) methods for solving them in which each iteration is obtained by solving a convex programming problem. Under some suitable assumptions, we establish that any accumulation point of the sequence generated by the methods is a KKT point of the SNLP problems. In addition, we propose a variant of the SCP method for SNLP in which nonmonotone scheme and ``local'' Lipschitz constants of the associated functions are used. A similar convergence result as mentioned above is established.

연구 동기 및 목표

• 비연속성과 비볼록성을 포함하는 광범위한 구조적 비선형 프로그래밍(SNLP) 문제를 체계적으로 해결하기 위한 접근법을 개발하는 것.
• 리프시츠 기울기 가정 하에 SNLP 문제의 일阶 최적성 조건을 수립하는 것.
• 각 반복에서 볼록 하위문제를 해결하여 원래 SNLP 문제의 해를 근사하는 순차적 볼록 프로그래밍( SCP) 방법을 설계하는 것.
• 비단조 선색색 및 국소 리프시츠 상수를 사용하는 조건 하에, SCP 방법이 KKT 점으로 전역 수렴함을 증명하는 것.
• 수렴 이론을 비단조 방법 및 국소 적응형 파rameter를 사용하는 변형으로 확장하여 안정성 향상

제안 방법

• 이 방법은 기울기 정보와 국소 리프시츠 상수를 사용하여 원래 문제의 볼록 근사값을 반복적으로 최소화함으로써 SNLP 문제를 해결한다.
• 각 반복에서, 부드러운 성분은 일阶 테일러 전개로 근사되고, 볼록 성분은 그대로 유지되어 볼록 하위문제가 구성된다.
• 수렴 안정성을 향상시키고 정체를 방지하기 위해 비단조 선색색 전략을 사용한다.
• 부드러운 함수의 기울기의 국소 리프시츠 상수를 사용하여 볼록 하위문제를 구성함으로써 적응성과 수렴성을 향상시킨다.
• 수렴성은 메리트 함수와 균일 연속성의 수준 집합을 사용하여 분석되며, 이는 반복 수열이 KKT 점으로 수렴함을 보장한다.
• 이 방법은 $l_1$, SCAD, $l_q$, 로그, 캡핑된-$l_1$ 페널티를 포함한 희박 최적화 문제에 적용되며, 이는 SNLP 프레임워크의 특수한 경우로 재구성된다.

실험 결과

연구 질문

• RQ1 비연속성과 비볼록성을 포함하는 광범위한 구조적 비선형 프로그래밍 문제에 대해 순차적 볼록 프로그래밍 방법을 개발할 수 있는가?
• RQ2 이러한 구조적 비선형 프로그래밍 문제의 KKT 점을 특징짓는 일阶 최적성 조건은 무엇인가?
• RQ3 SCP 방법이 원래 SNLP 문제의 KKT 점으로 전역 수렴하기 위한 조건은 무엇인가?
• RQ4 비단조 선색색과 국소 리프시츠 상수는 SCP의 수렴 행동을 어떻게 향상시킬 수 있는가?
• RQ5 제안된 방법은 비볼록 희박성 유도 페널티를 포함한 희박 최적화 문제에 적용되어 효과적으로 해결될 수 있는가?

주요 결과

• 기울기의 리프시츠 연속성과 같은 표준 가정 하에, SCP 방법이 생성하는 수열의 모든 집적점은 원래 SNLP 문제의 KKT 점이다.
• 비단조 선색색 전략을 사용하더라도 수렴 결과가 유지되어 수렴 성능과 안정성이 향상된다.
• 하위문제 구성에 국소 리프시츠 상수를 사용함으로써 방법의 적응성과 수렴 성능가 향상된다.
• 이 방법은 $l_1$, SCAD, $l_q$, 로그, 캡핑된-$l_1$ 페널티를 포함한 다양한 희박 최적화 문제에 적용 가능하며, 이는 SNLP 프레임워크의 특수한 경우로 재구성된다.
• 수렴 분석은 수준 집합 내에서 메리트 함수의 균일 연속성과 부드러운 항의 볼록화를 통해 원래 문제를 근사하는 하위문제의 사용에 기반한다.
• 강한 볼록성이나 정확한 선색색을 요구하지 않고, 일阶 정보와 볼록 하위문제의 해를 기반으로 전역 수렴을 달성한다.