[논문 리뷰] PENLAB: A MATLAB solver for nonlinear semidefinite optimization

Jan Fiala, Michal Kočvara외 1명|arXiv (Cornell University)|2013. 11. 20.

Advanced Optimization Algorithms Research참고 문헌 21인용 수 71

한 줄 요약

PENLAB는 비선형 목적함수 및 제약조건, 행렬부등식 및 고유값 제약조건을 갖는 비선형 준연속최적화 문제를 해결하기 위한 오픈소스 MATLAB 솔버이다. 이는 페널티/바리에이션 함수 기반의 비선형 재스케일링 알고리즘을 활용한다. 주요 기여는 연구 및 교육용으로 사용자가 알고리즘 구성 요소를 수정할 수 있도록 완전히 접근 가능하고 확장 가능한 프레임워크를 제공하는 데 있다. 이는 구조적 설계, 상관행렬 완성, 정적 출력 피드백 문제 해결에 기여한다.

ABSTRACT

PENLAB is an open source software package for nonlinear optimization, linear and nonlinear semidefinite optimization and any combination of these. It is written entirely in MATLAB. PENLAB is a young brother of our code PENNON \cite{pennon} and of a new implementation from NAG \cite{naglib}: it can solve the same classes of problems and uses the same algorithm. Unlike PENNON, PENLAB is open source and allows the user not only to solve problems but to modify various parts of the algorithm. As such, PENLAB is particularly suitable for teaching and research purposes and for testing new algorithmic ideas. In this article, after a brief presentation of the underlying algorithm, we focus on practical use of the solver, both for general problem classes and for specific practical problems.

연구 동기 및 목표

• 비선형 제약조건이 있는 준연속최적화 문제를 해결하기 위한 오픈소스 MATLAB 기반 솔버를 개발하여 연구 및 교육적 응용을 지원한다.
• 사용자가 알고리즘 구성 요소를 수정하고 실험할 수 있도록 하여 비선형 준연속최적화 프로그래밍 분야의 새로운 아이디어를 테스트할 수 있도록 한다.
• 행렬부등식과 비선형 목표함수를 포함한 실제 문제를 해결하기 위한 실용적이고 접근 가능한 도구를 제공한다.
• PENNON 및 NAG의 구현체와 비교하여 전체 소스 코드 접근성을 제공함으로써 기존 솔버의 기능을 확장한다.
• 근접한 상관행렬 문제(조건수 제약 조건 포함), 트러스 구조 최적화, 정적 출력 피드백 제어 등 기준 문제들에 대해 솔버의 효과성을 입증한다.

제안 방법

• 이차형 및 행렬부등식 제약조건을 처리하기 위해 페널티 및 바리에이션 함수 기반의 비선형 재스케일링 방법을 사용한다.
• 증강 라그랑주 하위문제를 해결하기 위해 순차적 2차계획법(SQP) 반복을 사용하는 원시-쌍대 내점법 접근 방식을 적용한다.
• 행렬값 함수의 기울기와 헤시안을 계산하기 위해 방향도함수와 행렬 미적분을 적용한다. 예를 들어 $ \nabla F(X) $ 는 $ F(X) = X^2 $ 과 $ \mbox{Tr}(X^{-1}) $ 에 대해 적용된다.
• 대칭 행렬의 경우 $ Z_{ij} + Z_{ji} - \text{diag}(Z_{ij}) $ 를 통한 대칭 인식 기반 기울기 계산을 적용하여 정확성을 보장한다.
• 스칼라 및 행렬 함수에 대해 행렬 미적분 규칙을 활용한 자동미분 기법을 구현한다. 예를 들어 $ \frac{\partial}{\partial x_{ij}} \mbox{Tr}(X^{-1}) $ 를 포함한다.
• 등식 및 부등식 제약조건을 포함한 행렬 변수에 대한 제약조건을 지원하며, 고유값 경계 $ \underline{\lambda}_i I \preceq Y_i \preceq \overline{\lambda}_i I $ 도 포함한다.

실험 결과

연구 질문

• RQ1 비선형 준연속최적화 프로그램을 해결하기 위해 알고리즘 실험을 위한 확장 기능을 갖춘 완전한 오픈소스 MATLAB 기반 솔버를 어떻게 설계할 수 있는가?
• RQ2 대규모 문제에 대해 컴iles된 언어 대비 MATLAB에서 고수준 솔버를 구현할 경우의 성능 상충 관계는 어떠한가?
• RQ3 PENLAB은 조건수 제약 조건이 있는 근접한 상관행렬 문제와 같이 도전적인 실생활 문제를 효과적으로 해결할 수 있는가?
• RQ4 기타 문헌에서 제시된 접근 방식과 비교해 볼 때, 비선형 재스케일링 알고리즘이 행렬부등식 제약조건을 갖는 문제에서 얼마나 잘 작동하는가?
• RQ5 PENLAB은 비선형 준연속최적화 프로그래밍 분야에서 새로운 알고리즘 아이디어를 탐색하기 위한 교육 및 연구 도구로서 얼마나 효과적으로 활용될 수 있는가?

주요 결과

• PENLAB은 조건수 제약 조건이 있는 근접한 상관행렬 문제, 전역 안정성이 요구되는 트러스 구조 최적화, 정적 출력 피드백 제어 문제 등 다양한 실생활 문제를 성공적으로 해결하였다.
• PENNON 및 NAG의 구현체와 동일한 알고리즘 프레임워크를 사용하여 플랫폼 간 호환성과 재현 가능성을 확보하였다.
• MATLAB의 인터프리터 환경로에 기인한 성능 제약에도 불구하고, 알고리즘 구성 요소에 대한 완전한 접근성을 제공하여 세밀한 분석과 수정이 가능하였다.
• 행렬 기울기 및 헤시안의 이론적 유도가 정확하게 구현되었으며, 특히 대칭 행렬 처리를 위한 $ Z_{ij} + Z_{ji} - \text{diag}(Z_{ij}) $ 를 통한 방법으로 수치 정확성이 보장되었다.
• 패키지는 GNU GPL 라이선스 하에 배포되며, 연구 및 교육 목적을 위해 http://web.mat.bham.ac.uk/kocvara/penlab 에 공개되어 있다.
• 행렬 함수에 대한 방향도함수 및 이阶 도함수 계산이 정확히 구현되었으며, 예를 들어 $ \frac{\partial^2}{\partial x_{ij}\partial x_{k\ell}} \mbox{Tr}(X^{-1}) = X^{-1}E_{ij}X^{-1}E_{kl}X^{-1} + X^{-1}E_{kl}X^{-1}E_{ij}X^{-1} $ 와 같은 표현이 정확히 계산된다.