[논문 리뷰] Parameter Selection and Pre-Conditioning for a Graph Form Solver

Christopher Fougner, Stephen Boyd|arXiv (Cornell University)|2015. 03. 28.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 그래프 형식 ADMM 솔버를 위한 향상된 파라미터 선택 및 대각 전조건화 기법을 제안하여 수렴성과 안정성을 크게 향상시킨다. 이를 통해 도출된 POGS 소프트웨어는 대규모 문제에서 뛰어난 성능을 발휘하며, 1억 개 이상의 계수를 가진 방사선 치료 계획 문제를 몇 초 만에 해결하는 데 성공했고, 이는 내부점 방법 대비 약 1시간 소요되는 것과 대비된다.

ABSTRACT

In a recent paper, Parikh and Boyd describe a method for solving a convex optimization problem, where each iteration involves evaluating a proximal operator and projection onto a subspace. In this paper we address the critical practical issues of how to select the proximal parameter in each iteration, and how to scale the original problem variables, so as the achieve reliable practical performance. The resulting method has been implemented as an open-source software package called POGS (Proximal Graph Solver), that targets multi-core and GPU-based systems, and has been tested on a wide variety of practical problems. Numerical results show that POGS can solve very large problems (with, say, more than a billion coefficients in the data), to modest accuracy in a few tens of seconds. As just one example, a radiation treatment planning problem with around 100 million coefficients in the data can be solved in a few seconds, as compared to around one hour with an interior-point method.

연구 동기 및 목표

• 실제 응용에서 그래프 형식 ADMM 솔버의 파라미터 선택 및 변수 스케일링 문제를 해결하여 안정적인 성능을 확보한다.
• 새로운 파라미터 선택 및 전조건화 전략을 통해 ADMM 기반 그래프 형식 솔버의 수렴 안정성과 효율성을 향상시킨다.
• 대규모 볼록 최적화 문제를 대상으로 하며, 멀티코어 및 GPU 아키텍처를 고려한 고성능 오픈소스 솔버(POGS)를 개발한다.
• 특히 방사선 치료 계획과 같은 실제 응용 분야에서 전통적인 내부점 방법에 비해 빠른 성능 향상을 입증한다.

제안 방법

• 그래프 제약 조건에 대한 프락시멀 연산자와 사영 연산을 포함하는 그래프 형식 볼록 최적화 문제를 해결하기 위해 ADMM 기반 알고리즘을 채택한다.
• 수렴 속도 향상을 위해 선형 탐색 또는 히우리스틱 적응 기법을 활용한 동적 파라미터 선택 기법을 도입하여 프락시멀 파라미터 ρ를 조정한다.
• 변수 스케일링과 문제의 조건수 향상을 위해 대각 전조건화를 적용하여 수치적 안정성과 수렴성을 향상시킨다.
• 신뢰할 수 있는 수렴 탐지 기능을 확보하기 위해 원시 및 이중 잔차를 기반으로 수정된 정지 기준을 구현한다.
• 멀티코어 및 GPU 실행을 최적화한 커널을 갖춘 C++/CUDA 기반 오픈소스 솔버인 POGS를 설계한다.
• 반복 과정 중 수렴 속도와 안정성의 균형을 이루기 위해 문제 특성에 맞는 히우리스틱을 활용해 초기 파라미터 값을 설정하고 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 그래프 형식 ADMM의 프락시멀 파라미터 ρ는 어떻게 동적으로 선택하여 수렴 속도와 안정성을 향상시킬 수 있는가?
• RQ2 어떤 전조건화 전략이 악조건 문제에서 그래프 형식 ADMM의 수렴 행동을 크게 향상시킬 수 있는가?
• RQ3 일반 목적의 솔버가 대규모 볼록 최적화 문제에서 내부점 방법과 비교해 실용적인 성능을 달성하거나 초월할 수 있는가?
• RQ4 대각 전조건화가 ADMM 기반 그래프 형식 솔버의 수렴 속도와 수치적 안정성에 어떤 영향을 미치는가?
• RQ5 GPU 가속과 알고리즘 개선을 통해 내부점 방법이 처리 가능한 문제보다 수십억 배 이상 큰 문제를 해결할 수 있는가?

주요 결과

• POGS는 약 1억 개의 계수를 가진 방사선 치료 계획 문제를 몇 초 만에 해결했고, 내부점 방법을 사용할 경우 약 1시간 소요된다.
• 내부점 방법이 처리 가능한 문제들에 대해서도 POGS는 최대 100배의 성능 향상을 달성한다.
• POGS는 데이터 행렬 A의 계수 수가 10억 개가 넘는 문제를 안정적으로 해결함으로써 내부점 방법의 한계를 초월하는 확장성을 입증한다.
• 동적 파라미터 선택과 대각 전조건화의 조합은 다양한 문제 유형에서 수렴 안정성 향상과 반복 횟수 감소에 뚜렷한 기여를 한다.
• 로지스틱 회귀, 선형 프로그래밍, 비음수 최소 제곱, 포트폴리오 최적화, 서포트 벡터 머신에 대한 수치 실험 결과에서 일관된 성능 향상이 확인된다.
• 고조건수 문제나 불균형 스케일링을 가진 변수를 가진 문제들에 대해서도 알고리즘의 성능은 안정적이고 예측 가능하다.