[논문 리뷰] A General System for Heuristic Solution of Convex Problems over Nonconvex Sets

Steven Diamond, Reza Takapoui외 1명|arXiv (Cornell University)|2016. 01. 27.

Advanced Optimization Algorithms Research참고 문헌 91인용 수 20

한 줄 요약

이 논문은 비볼록 제약 조건을 가진 볼록 최적화 문제를 해결하기 위한 일반 목적의 휴리스틱 프레임워크를 제시한다. 이는 볼록 완화, 볼록 제한, 국소 주변 탐색, ADMM를 사용한다. 이 방법은 NCVX 패키지에 구현되어 있으며, 최소한의 튜닝으로 다양한 비볼록 문제에 대해 고품질의 근사해를 효율적으로 찾는 데 성공했으며, 혼합정수계획법, 카디널리티 제약 문제, 그래프 이sov머피즘, 위상 복원, 스도쿠 문제에서 뛰어난 성능을 보였다.

ABSTRACT

We describe general heuristics to approximately solve a wide variety of problems with convex objective and decision variables from a nonconvex set. The heuristics, which employ convex relaxations, convex restrictions, local neighbor search methods, and the alternating direction method of multipliers (ADMM), require the solution of a modest number of convex problems, and are meant to apply to general problems, without much tuning. We describe an implementation of these methods in a package called NCVX, as an extension of CVXPY, a Python package for formulating and solving convex optimization problems. We study several examples of well known nonconvex problems, and show that our general purpose heuristics are effective in finding approximate solutions to a wide variety of problems.

연구 동기 및 목표

• 다양한 문제 유형에 대해 광범용으로 적용 가능하고, 광범위한 튜닝 없이도 비볼록 제약 조건을 가진 볼록 최적화 문제를 해결할 수 있는 일반 목적의 휴리스틱을 개발하는 것.
• 비볼록 문제에 대해 구조적 제약 조건을 가진 경우 수렴성과 해 품질을 향상시키기 위해 볼록 완화 및 제한을 활용하는 것.
• 볼록 최적화 기술과 휴리스틱 국소 탐색 및 ADMM를 조합하여 어려운 비볼록 문제를 효율적으로 해결할 수 있도록 하는 것.
• 고수준 인터페이스를 통해 접근 가능한 통합적이고 확장 가능한 프레임워크를 제공하여, CVXPY에 구현된 NCVX 패키지로 구현하는 것.
• 혼합정수계획법 및 조합 최적화 과제를 포함한 다양한 벤치마크 비볼록 문제들에 대해 이 방법의 효과성을 입증하는 것.

제안 방법

• 비볼록 집합 $\mathcal{C}$의 볼록 완화, 예를 들어 $\{0,1\}^q$에 대해 $0 \leq z_i \leq 1$를 사용하여 하한을 확보하고 수렴성을 향상시킨다.
• 가능해에 도달한 점에서 볼록 제한을 적용하여 국소 탐색을 이끌며, 반복값이 비볼록 집합 근처에 머무르도록 보장한다.
• 비볼록 집합 내에서 가까운 가능해를 탐색하기 위해 이산 거리 척도를 사용한 국소 주변 탐색을 수행한다.
• 교차 방향 다중수단법(ADMM)을 사용하여 완화된 부분문제를 해결함으로써 분해와 효율적 계산을 가능하게 한다.
• 프레임워크는 CVXPY의 확장인 NCVX로 구현되어 있으며, 투영 또는 제한 오라클을 통해 비볼록 제약 조건을 가진 문제를 사용자가 정의할 수 있도록 한다.
• 기본 기법으로는 relax-round-polish 휴리스틱이 적용되었지만, 복잡한 비볼록 문제에서는 NC-ADMM가 더 효과적임을 입증하였다.

실험 결과

연구 질문

• RQ1 비볼록 제약 조건을 가진 볼록 최적화 문제를 해결하기 위해 볼록 최적화 원천 기반의 일반 목적의 휴리스틱 시스템을 개발할 수 있는가?
• RQ2 볼록 완화 및 제한은 비볼록 문제의 수렴성과 해 품질 향상에 얼마나 효과적인가?
• RQ3 ADMM 기반 분해와 국소 주변 탐색은 어려운 비볼록 문제에서 표준 relax-round-polish 휴리스틱을 능가할 수 있는가?
• RQ4 다양한 비볼록 문제 유형에 대해 최소한의 튜닝으로 통합된 프레임워크를 얼마나 잘 구축할 수 있는가?
• RQ5 이 방법은 그래프 이sov머피즘, 위상 복원, 스도쿠와 같은 문제들을 고품질 근사해로 신뢰성 있게 해결할 수 있는가?

주요 결과

• NC-ADMM는 테스트된 모든 경우에서 이sov머픽인 그래프(예: Peterson, 이코사하드론, 도데카하드론) 간의 순열 행렬을 성공적으로 발견하였으며, 이는 완화된 문제의 해가 유일하지 않은 경우에도 성공하였다.
• relax-round-polish 휴리스틱은 테스트된 모든 그래프 이sov머피즘 문제에서 해를 찾지 못한 반면, NC-ADMM는 성공적으로 해결하여 그 우수한 강건성을 입증하였다.
• 위상 복원 문제의 경우, 볼록 완화와 ADMM를 활용하여 자코비안 측정값만으로도 신호를 효과적으로 복원하였다.
• 이 프레임워크는 이진 변수와 카디널리티 제약 조건을 가진 혼합정수볼록계획형으로 스도쿠 문제를 공식화하여 정확한 해를 도출하였다.
• 이 방법은 $\|z\|_1 \leq kM$를 볼록 완화로 사용하여, 예를 들어 회귀자 선택과 같은 카디널리티 제약 볼록 문제에서 뛰어난 성능을 보였다.
• NCVX 패키지는 비볼록 집합 처리의 복잡성을 추상화하여 휴리스틱의 자동화 및 사용자 友好的한 구현을 가능케 하였다.