[논문 리뷰] Disciplined Multi-Convex Programming

Xinyue Shen, Steven Diamond외 3명|arXiv (Cornell University)|2016. 09. 12.

Advanced Optimization Algorithms Research참고 문헌 27인용 수 4

한 줄 요약

이 논문은 변동 가능한 변수 블록에서의 볼록성 검증을 자동으로 수행할 수 있도록 디스цип린드 컨벡스 프로그래밍(DCP) 원리를 확장한 룰 기반 모델링 프레임워크인 디스цип린드 멀티컨벡스 프로그래밍(DMCP)을 소개한다. 이는 다중볼록 최적화 문제의 구조적이고 검증 가능한 수식화를 가능하게 하며, 블록 좌표 강하(BCD)를 통해 솔버와 통합되어 비선형 제약 조건이 있는 문제, 예를 들어 비음성 행렬 분해와 이차형 제어 문제에서의 사용 용이성과 경쟁 가능한 성능을 보여준다.

ABSTRACT

A multi-convex optimization problem is one in which the variables can be partitioned into sets over which the problem is convex when the other variables are fixed. Multi-convex problems are generally solved approximately using variations on alternating or cyclic minimization. Multi-convex problems arise in many applications, such as nonnegative matrix factorization, generalized low rank models, and structured control synthesis, to name just a few. In most applications to date the multi-convexity is simple to verify by hand. In this paper we study the automatic detection and verification of multi-convexity using the ideas of disciplined convex programming. We describe an implementation of our proposed method that detects and verifies multi-convexity, and then invokes one of the general solution methods.

연구 동기 및 목표

• 기계 학습, 신호 처리 및 제어 분야에서 흔한 최적화 문제에서 다중볼록성의 자동 탐지 및 검증 문제를 해결하기 위해.
• 디스цип린드 컨벡스 프로그래밍(DCP) 파라다임을 다중볼록 문제로 확장하여, 다른 변수들이 고정되었을 때 변수 블록에서의 볼록성에 대한 공식적 검증을 가능하게 하기 위해.
• 문제 사양을 단순화하고 솔버에 구조를 노출시킬 수 있는 체계적이고 규칙 기반의 모델링 프레임워크를 제공하기 위해.
• 다중볼록성 검증 및 슬랙 변수를 통한 비가역성 처리를 고려한 블록 좌표 강하(BCD)를 사용하여 히우리스틱적으로 문제를 해결하는 소프트웨어 도구(DMCP)를 구현하기 위해.

제안 방법

• 다른 변수들이 고정되었을 때 문제의 어떤 변수 부분집합에서 볼록성이 성립하는지 검증할 수 있도록 DCP를 확장한 새로운 규칙 세트인 DMCP를 제안한다.
• DCP 유사 규칙의 반복적 적용을 통해 임의의 변수 고정 조건 하에서 문제의 볼록성 분석 및 검증을 위한 효율적인 알고리즘을 개발한다.
• CVXPY와의 통합을 통해 블록 좌표 강하(BCD)를 통해 문제를 파싱, 검증, 해결할 수 있는 파이썬 패키지로 DMCP를 구축한다.
• 비가역성 대응 및 비볼록 설정에서의 수렴 개선을 위해 슬랙 변수와 일반화된 부등식을 BCD에 통합한다.
• 다른 변수들이 고정되었을 때 각 변수 블록에서의 볼록성을 확인하기 위해 함수와 제약 조건의 계층적 분해를 사용한다.
• 자동 미분과 기호 분석을 활용하여 수동 도출 없이도 볼록성을 검증한다.

실험 결과

연구 질문

• RQ1 최적화 문제에서 다중볼록성을 자동으로 검증할 수 있는 디스цип린드 프로그래밍 프레임워크를 설계할 수 있는가?
• RQ2 디스цип린드 컨벡스 프로그래밍(DCP) 원리를 다중볼록 문제와 구조적 변수 분할을 고려하여 어떻게 확장할 수 있는가?
• RQ3 자동 볼록성 검증이 다중볼록 최적화 모델의 사용성과 정확성에 어떤 영향을 미치는가?
• RQ4 이러한 프레임워크의 소프트웨어 구현이 실제 문제에서 커스터마이즈된 솔버와 비교해도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• DMCP 프레임워크는 비음성 행렬 분해, 이차형 제어, 저항도 추정 등 다양한 문제에서 공식적인 보장을 바탕으로 다중볼록성을 성공적으로 검증하였다.
• CVXPY를 확장한 파이썬 패키지인 DMCP의 구현은 사용자가 고수준의 인간이 읽을 수 있는 문법으로 문제를 기술하면서도 구조적 정확성을 보장한다.
• 수치적 결과는 DMCP가 비슷한 커스터마이즈된 솔버와 비교해 유사한 해 품질을 달성함을 보여주었으며, 예를 들어 D.C. 모터 브레이킹 문제에서는 선형 제어 시스템보다 더 빠른 브레이킹 성능을 기록하였다.
• BCD 솔버에 슬랙 변수를 도입함으로써 비가역성에 대한 강건성이 향상되었고, 비볼록 설정에서도 수렴 가능성이 보장되었다.
• 수동 검증이 복잡하거나 실수하기 쉬운 문제에서 다중볼록 구조의 자동 탐지가 가능해졌다.
• 100단계 시간 간격의 이차형 제어 예제에서 M=8인 경우 수백 개의 변수를 포함하는 문제에 대해서도 프레임워크가 확장 가능함을 입증하였다.