[논문 리뷰] Sequential Convex Programming Methods for Solving Nonlinear Optimization Problems with DC constraints

Tran Dinh Quoc, Moritz Diehl|arXiv (Cornell University)|2011. 07. 28.

Advanced Optimization Algorithms Research참고 문헌 20인용 수 38

한 줄 요약

이 논문은 비선형 최적화 문제에 대한 DC(凸함수의 차분) 제약 조건을 갖는 순차적 볼록 프로그래밍(SCP) 알고리즘을 제안한다. 이 알고리즘은 DC 함수의 볼록성 부문을 활용하여 볼록화를 수행하며, 전역 수렴성을 증명하고, 타당하지 않은 부분 문제를 다루기 위해 정확한 L1-패널티를 사용한 완화 기법을 도입한다. MPCC 및 비볼록 2차 프로그래밍 문제에 대한 수치 실험에서 표준 패널티 방법보다 향상된 수치적 성능을 보였다.

ABSTRACT

This paper investigates the relation between sequential convex programming (SCP) as, e.g., defined in [24] and DC (difference of two convex functions) programming. We first present an SCP algorithm for solving nonlinear optimization problems with DC constraints and prove its convergence. Then we combine the proposed algorithm with a relaxation technique to handle inconsistent linearizations. Numerical tests are performed to investigate the behaviour of the class of algorithms.

연구 동기 및 목표

• 비선형 최적화 문제에 대한 DC 제약 조건을 갖는 순차적 볼록 프로그래밍(SCP)과 DC 프로그래밍 간의 관계를 체계적으로 연결하기 위해 SCP를 DC 프로그래밍의 특수한 경우로 재구성한다.
• 비볼록 문제의 국소 최소화를 위해 제약 조건의 DC 구조를 유지하는 SCP 알고리즘을 개발한다.
• 선형화 과정에서 발생하는 부분 문제의 타당성 문제를 정확한 L1-패널티를 활용한 완화 기법을 통해 효과적으로 해결한다.
• 수학적 보조조건이 있는 프로그램(MPCC) 및 비볼록 2차 프로그래밍 문제에 대해 알고리즘의 효과성을 입증한다.
• 선형 탐색 또는 신뢰 영역 전략 없이도 보수적인 조치 없이 전체 SCP 스텝을 수행할 수 있음을 보여준다.

제안 방법

• 알고리즘은 DC 제약 조건의 볼록 부분을 유지하면서 볼록 부분을 선형화하여 반복적으로 볼록 부분 문제를 해결한다.
• 일관성 없는 선형화를 다루기 위해 정확한 L1-패널티 함수 기반의 완화 기법을 사용하여 부분 문제의 타당성을 보장한다.
• 보조조건 제약 조건을 볼록 함수의 차분으로 표현함으로써 MPCC 문제를 DC 프로그램으로 재구성한다.
• 새로운 변수 변환을 도입하여 MPCC 제약 조건을 u(w) - v(w) ≤ 0 형태의 DC 제약 조건으로 표현한다. 여기서 u는 강한 볼록 함수이고 v는 볼록 함수이다.
• CVX 패키지와 Sedumi 솔버를 사용하여 볼록 부분 문제를 해결하는 알고리즘을 구현한다.
• 유사한 가정 하에 수렴성이 증명되며, 이전 연구에서 선형 국소 수렴 속도가 확립되었고(Quoc2009b), 본 연구에서는 이를 활용한다.

실험 결과

연구 질문

• RQ1 SCP 방법은 비볼록 최적화 문제에 대한 DC 제약 조건을 갖는 문제를 체계적으로 DC 프로그래밍과 연결할 수 있는가?
• RQ2 선형화로 인한 SCP 부분 문제의 타당성 문제를 수렴성이나 보수성의 손실 없이 효과적으로 완화할 수 있는가?
• RQ3 SCP 부분 문제에 정확한 L1-패널티 완화 기법을 적용할 경우, 표준 패널티 기반 DC 프로그래밍보다 향상된 수치적 성능을 보일 수 있는가?
• RQ4 제안된 SCP-DC 프레임워크는 MPCC 및 비볼록 2차 프로그래밍 문제에 대해 신뢰할 수 있는 수렴성과 정확도를 갖는가?
• RQ5 기본 문제에 대한 타당성, 최적성 및 계산 효율성 측면에서 알고리즘의 행동 양태는 어떠한가?

주요 결과

• 제안된 DC 제약 조건이 있는 SCP 알고리즘은 유사한 가정 하에 전역적으로 KKT 점으로 수렴함을 이전 연구에서 입증하였고, 본 연구에서도 이를 적용하였다.
• 문제 P7의 경우, 알고리즘은 9회 반복 후 f* = 64.999의 해를 얻었으며 오차는 7×10⁻⁷, 타당성 갭은 5×10⁻¹¹이었고, Facchinei1999의 결과와 밀접하게 일치하였다.
• 문제 P9의 경우, 알고리즘은 여러 초기값에서 18~19회 반복 후 f* ≈ 1.35×10⁻¹¹의 해로 수렴하였으며, 오차는 약 2×10⁻⁵, 타당성 갭은 약 1×10⁻¹⁰이었다.
• 문제 P10의 경우, 알고리즘은 17회 반복 후 f* = -6600의 해를 얻었고, 오차는 3×10⁻⁵, 타당성 갭은 3×10⁻⁸이었다. 이는 강력한 성능을 보였다.
• 알고리즘 1은 타당 영역의 내부가 비어 있어 실패하였고, 알고리즘 2는 성공하여 완화 기법의 우수성을 입증하였다.
• 정확한 L1-패널티를 사용한 완화 기법은 표준 패널티 기반 DC 프로그래밍보다 보수적인 부분 문제를 제공하여 수치적 행동을 향상시켰다.