[논문 리뷰] Convex programming with fast proximal and linear operators

Matt Wytock, Po-Wei Wang외 1명|arXiv (Cornell University)|2015. 11. 16.

Advanced Optimization Algorithms Research참고 문헌 25인용 수 7

한 줄 요약

에프실론은 분류된 볼록 최적화 프로그램을 프록스-애피니 형식으로 컴파일하는 볼록 최적화 시스템로, ADMM를 통해 빠른 해법을 가능하게 하며, 효율적인 프록스 및 선형 연산자 라이브러리를 제공한다. 문제의 구조를 유지하고 밀도/희소 행렬 병목 현상을 피하기 때문에, 일반적인 머신 러닝 및 통계 문제에서 SCS 및 ECOS와 같은 원뿔형 솔버보다 최대 10배 빠른 성능을 달성한다.

ABSTRACT

We present Epsilon, a system for general convex programming using fast linear and proximal operators. As with existing convex programming frameworks, users specify convex optimization problems using a natural grammar for mathematical expressions, composing functions in a way that is guaranteed to be convex by the rules of disciplined convex programming. Given such an input, the Epsilon compiler transforms the optimization problem into a mathematically equivalent form consisting only of functions with efficient proximal operators---an intermediate representation we refer to as prox-affine form. By reducing problems to this form, Epsilon enables solving general convex problems using a large library of fast proximal and linear operators; numerical examples on many popular problems from statistics and machine learning show that this often improves running times by an order of magnitude or more vs. existing approaches based on conic solvers.

연구 동기 및 목표

• 일반 목적의 솔버와 전문화된 볼록 솔버 사이의 격차를 메우기 위해 넓은 범위의 볼록 문제를 효율적으로 해결할 수 있도록 하는 것.
• 전통적인 원뿔 형식에서 손실되는 문제의 구조를 유지할 수 있는 더 rich한 중간 표현(프록스-애피니 형식)을 개발하는 것.
• 빠르고 재사용 가능한 프록스 및 선형 연산자를 사용해 표준 머신 러닝 및 통계 문제를 고성능으로 해결할 수 있도록 하는 것.
• DCP 준수 문제를 ADMM와 같은 연산자 분할 방법에서 직접 해결할 수 있는 형식으로 자동 변환하는 것.
• 기존 도구보다 뚜렷한 성능 향상을 보여주는 성능 벤치마크를 포함한 오픈소스 시스템을 공개하는 것.

제안 방법

• 시스템은 분류된 볼록 프로그램을 프록스-애피니 형식으로 컴파일한다—이 형식은 선형 변환을 거친 프록스-친화적 함수들의 합이며, 문제의 구조적 정보를 유지한다.
• DCP 문제를 프록스-애피니 형식으로 변환하기 위해 다중 변환을 적용하는 컴파일러를 활용하며, 이는 최적화 컴파일러 단계와 유사하다.
• 에프실론 솔버는 ADMM를 사용해 프록스-애피니 형식을 해결하며, ℓ1, ℓ2, 노르름, 허버 손실과 같은 일반 함수에 대한 빠른 구현을 활용한다.
• 크로네커 곱과 구조적 행렬을 포함한 효율적인 선형 연산자 라이브러리를 통합하여, 명시적 희소/밀도 행렬 저장을 피한다.
• 분리 가능성과 문제의 구조를 활용하는 연산자 분할 기법을 지원하여 반복 횟수와 반복당 비용을 감소시킨다.
• 새로운 프록스 연산자를 핵심 솔버를 수정하지 않고도 추가할 수 있는 모듈러 아키텍처를 사용하여 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 효율적인 프록스 연산자를 활용함으로써 일반 목적의 볼록 최적화 시스템이 전문화된 솔버와 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 더 rich한 중간 표현(프록스-애피니 형식)이 문제의 구조를 유지하고 표준 원뿔 형식보다 더 빠른 해법을 가능하게 할 수 있는가?
• RQ3 최적화된, 문제에 특화된 프록스 및 선형 연산자를 통해 ADMM과 같은 연산자 분할 기법의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 실제 머신 러닝 및 통계 문제에서 프록스-애피니 형식 기반 시스템의 성능은 원뿔형 솔버(SCS, ECOS 등)와 비교해 어떻게 되는가?
• RQ5 재사용 가능한 프록스 연산자를 갖춘 모듈러 시스템 아키텍처는 볼록 최적화에서 맞춤형 알고리즘 개발의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• 에프실론은 라소, 융합 라소, 강건한 주성분 분석, 로지스틱 회귀 등 다양한 문제에서 SCS 및 ECOS보다 최대 10배 이상의 성능 향상을 달성했다.
• 기본 근거 문제에서 에프실론은 1.35초 만에 해결했고, SCS는 17.26초, ECOS는 217.68초가 소요되었으며, 동일한 목적 함수 값을 기록했다.
• 허버 손실 및 최소 절대 편차 문제에서 에프실론은 각각 0.20초와 0.10초를 소요했고, SCS(3.17초 및 2.96초)와 ECOS(28.43초 및 11.46초)를 모두 앞섰다.
• 에프실론은 MNIST 분류 문제를 0.91초 만에 해결했고, SCS는 219.63초, ECOS는 1752.97초가 소요되었으며, 목적 함수 값은 거의 동일했다.
• 구조적 선형 연산자와 효율적인 프록스 평가를 통해 ADMM 반복 횟수와 반복당 비용을 감소시켰다.
• 오픈소스 배포판에는 통계 및 머신 러닝 분야의 17개의 다양한 문제에서 일관된 성능 향상을 보여주는 벤치마크가 포함되어 있다.