[논문 리뷰] Domain-Driven Solver (DDS): a MATLAB-based Software Package for Convex Optimization Problems in Domain-Driven Form.

Mehdi Karimi, Levent Tunçel|arXiv (Cornell University)|2019. 08. 07.

Advanced Optimization Algorithms Research참고 문헌 27인용 수 8

한 줄 요약

DDS는 도메인 기반 형식의 볼록 최적화 문제를 위한 비가능시작 원시-쌍대 알고리즘을 구현한 MATLAB 기반 소프트웨어 패키지로, 대칭 원뿔, 이차형식, 일반화된 거듭제곱, 행렬 노름, 상대 엔트로피, 그리고 초월 다항식 원뿔 제약 조건을 포함한 다양한 제약 조건을 지원한다. 주요 기여는 이론적 기반과 실용적 구현 세부 사항을 바탕으로 한 광범위한 볼록 최적화 문제의 일관되고 효율적이며 확장 가능한 프레임워크이다.

ABSTRACT

Domain-Driven Solver (DDS) is a MATLAB-based software package for convex optimization problems in Domain-Driven form [Karimi and Tuncel, arXiv:1804.06925]. The current version of DDS accepts every combination of the following function/set constraints: (1) symmetric cones (LP, SOCP, and SDP); (2) quadratic constraints that are SOCP representable; (3) direct sums of an arbitrary collection of 2-dimensional convex sets defined as the epigraphs of univariate convex functions (including as special cases geometric programming and entropy programming); (4) generalized power cone; (5) epigraphs of matrix norms (including as a special case minimization of nuclear norm over a linear subspace); (6) vector relative entropy; (7) epigraphs of quantum entropy and quantum relative entropy; and (8) constraints involving hyperbolic polynomials. DDS is a practical implementation of the infeasible-start primal-dual algorithm designed and analyzed in [Karimi and Tuncel, arXiv:1804.06925]. This manuscript contains the users' guide, as well as theoretical results needed for the implementation of the algorithms. To help the users, we included many examples. We also discussed some implementation details and techniques we used to improve the efficiency and further expansion of the software to cover the emerging classes of convex optimization problems.

연구 동기 및 목표

• 도메인 기반 형식의 볼록 최적화 문제를 해결하기 위한 실용적이고 확장 가능한 소프트웨어 패키지를 개발하는 것.
• 대칭 원뿔, 이차형식, 일반화된 거듭제곱, 행렬 노름 제약 조건을 포함한 다양한 볼록 제약 조건의 통합 처리를 위한 것.
• 이론적 엄밀성과 계산 효율성을 갖춘 비가능시작 원시-쌍대 알고리즘의 구현 및 검증을 위한 것.
• 예제, 문서화, 확장 가능한 아키텍처를 통해 사용자에게 포괄적인 도구 세트를 제공하기 위한 것.
• 알고리즘 설계 및 최적화된 구현 기법을 통해 효율성과 확장성 향상을 위한 것.

제안 방법

• 솔버는 도메인 기반 형식 문제에 특화된 비가능시작 원시-쌍대 내점법 알고리즘을 사용한다.
• 일변수 볼록 함수의 에피그래프로 정의된 제약 조건을 지원하며, 기하학적 프로그래밍과 엔트로피 프로그래밍을 특수 케이스로 포함한다.
• 특수 장벽 함수와 자기 스케일링 장벽을 사용하여 일반화된 거듭제곱 원뿔, 벡터 상대 엔트로피, 양자 엔트로피를 처리한다.
• 행렬 전용 장벽 함수를 사용하여 행렬 노름의 에피그래프, 특히 선형 부분공간 상에서의 노름 최소화를 포함한다.
• 초월 다항식 제약 조건은 관련 장벽 함수와 자기 스케일링 장벽 성질을 통해 구현한다.
• 예측기 조정, 적응형 중심화, 확장성에 유리한 모듈러 설계와 같은 알고리즘 기법을 통해 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 솔버가 도메인 기반 형식의 다양한 볼록 최적화 제약 조건을 효율적으로 처리할 수 있는 방법은 무엇인가?
• RQ2 비대칭 원뿔을 포함한 다양한 볼록 문제를 안정적이고 확장 가능한 방식으로 해결할 수 있는 알고리즘 프레임워크는 무엇인가?
• RQ3 비가능시작 원시-쌍대 방법을 신규 문제 유형에 대해 실용적으로 구현하면서도 이론적 보장을 확보할 수 있는 방법은 무엇인가?
• RQ4 성능 향상과 새로운 볼록 제약 조건에 대한 유지보수 용이성을 높이기 위한 구현 기법은 무엇인가?
• RQ5 일반화된 거듭제곱 원뿔, 양자 엔트로피, 초월 다항식의 장벽 함수가 효율적 최적화를 어떻게 가능하게 하는가?

주요 결과

• DDS는 대칭 원뿔, 이차형식, 거듭제곱, 행렬 노름 제약 조건을 포함한 다양한 제약 유형의 볼록 최적화 문제를 통합된 프레임워크로 성공적으로 구현하였다.
• 특수 장벽 함수를 통해 벡터 상대 엔트로피, 양자 엔트로피, 초월 다항식 제약 조건과 같은 고급 제약 조건을 지원한다.
• 비가능시작 원시-쌍대 알고리즘이 다양한 문제 유형에서 안정적이고 수렴성이 우수한 것으로 입증되었으며, 광범위한 예제를 통한 검증이 이루어졌다.
• 적응형 중심화와 예측기 조정과 같은 구현 기법이 계산 효율성과 확장성 향상에 크게 기여하였다.
• 소프트웨어는 확장성에 유리하게 설계되어 있어 연구 및 응용 분야에서 새로운 볼록 제약 조건이 등장할 경우 간편하게 통합할 수 있다.
• 사용자 가이드와 포함된 예제들이 연구자와 실무자들이 DDS를 실제 최적화 문제에 적용할 수 있도록 실용적인 길을 제공한다.