[논문 리뷰] Preconditioning via Diagonal Scaling

Reza Takapoui, Hamid Javadi|arXiv (Cornell University)|2016. 10. 12.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 11

한 줄 요약

이 논문은 ADMM 및 공액 그래디언트와 같은 1차 최적화 방법에서 행렬의 조건수를 감소시키기 위해 대각 스케일링 전치법을 제안한다. 이는 수렴 속도를 크게 향상시킨다. 행렬 균형 조정을 볼록 최적화 문제로 공식화하고, Sinkhorn-Knopp 및 Ruiz와 같은 반복 알고리즘을 사용함으로써, 더 빠른 선형 대수 연산과 향상된 반복 횟수를 달성한다. 실험 결과, 스케일링이 최적화될 경우 반복 횟수를 최대 50% 감소시켰다.

ABSTRACT

Interior point methods solve small to medium sized problems to high accuracy in a reasonable amount of time. However, for larger problems as well as stochastic problems, one needs to use first-order methods such as stochastic gradient descent (SGD), the alternating direction method of multipliers (ADMM), and conjugate gradient (CG) in order to attain a modest accuracy in a reasonable number of iterations. In this report, we first discuss heuristics for diagonal scaling. Next, we motivate preconditioning by an example, and then we study preconditioning for a specific splitting form in ADMM called graph projection splitting. Finally we examine the performance of our methods by some numerical examples.

연구 동기 및 목표

• 입력 행렬의 조건수를 감소시켜 ADMM 및 공액 그래디언트와 같은 1차 최적화 방법의 수렴 속도를 향상시키는 것.
• 행렬 균형 조정을 통한 대각 스케일링을 이용한 실용적이고 계산 효율적인 전치법 전략을 개발하는 것.
• ADMM 기반 솔버에서 행렬 스케일링 및 스텝 사이즈 파라미터가 수렴 속도에 미치는 영향을 조사하는 것.
• 대각 전치법이 반복 솔버의 수렴을 가속화하는 데 효과적인 데 이론적 및 실험적 근거를 제공하는 것.

제안 방법

• 입력 행렬의 조건수를 최소화하는 방식으로 $DAE$의 조건수를 최소화하는 볼록 최적화 문제로 행렬 균형 조정을 공식화한다. 여기서 $D$ 및 $E$는 대각 스케일링 행렬이다.
• 행렬의 행과 열이 균형 잡힌 $\ell_p$ 노름을 가지도록 하는 방식으로, 직사각형 행렬에 적합하게 수정된 반복 알고리즘인 Sinkhorn-Knopp 및 Ruiz를 사용하여 $D$ 및 $E$를 계산한다.
• 공액 그래디언트 및 ADMM 솔버에 전치된 행렬 $A' = DAE$를 적용하여 $A'\tilde{x} = Db$ 를 풀고, $x = E^{-1}\tilde{x}$ 를 복원한다.
• 추가 계산 없이 $\beta/\alpha$ (스텝 사이즈 $\rho$) 및 $\beta\alpha$ (스케일링)를 통한 적응형 파rameter 튜닝을 도입하며, 최적 성능을 위한 힌트로 $\|DAE\| = 1$ 을 사용한다.
• 명시적인 행렬 접근을 피하기 위해 행렬 무관(matri-free) 방법을 사용하여 대규모 문제에 대한 확장성을 확보한다.
• 고정된 정확도 기준 $10^{-4}$ 를 사용하여 라소 및 선형 프로그래밍 문제에서 수치 실험을 통해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 행렬 균형 조정을 통한 대각 스케일링이 1차 최적화에서 큰 행렬의 조건수를 상당히 감소시킬 수 있는가?
• RQ2 Sinkhorn-Knopp 및 Ruiz와 같은 다양한 균형 조정 알고리즘이 조건수 감소 및 수렴 향상에 어떻게 비교되는가?
• RQ3 ADMM에서 스케일링 파라미터 $\beta\alpha$ 및 스텝 사이즈 $\rho = \beta/\alpha$ 는 수렴 속도에 어떤 영향을 미치는가?
• RQ4 전치법이 선형 대수 연산 속도와 반복 횟수 양쪽을 향상시키는가, 아니면 한쪽만인가?
• RQ5 $\|DAE\| = 1$ 힌트를 사용하여 수렴성과 안정성을 균형 잡는 데 효과적으로 사용될 수 있는가?

주요 결과

• Sinkhorn-Knopp 및 Ruiz 알고리즘을 통한 행렬 균형 조정은 테스트된 사례에서 $A$의 조건수를 최대 50% 감소시켜 공액 그래디언트 해법의 수렴 속도를 향상시켰다.
• 라소 문제에서 최적 스케일링($\|DAE\| = 1$)과 적응형 $\rho = \beta/\alpha$ 를 적용함으로써, 전치되지 않은 경우에 비해 평균 반복 횟수를 약 50% 감소시켰다.
• 선형 프로그래밍 문제에서는 전치법으로 평균 반복 횟수를 최대 40% 감소시켰고, 상대적 부분최적성 및 제약 위반도 수십 배에서 수백 배 이상 개선했다.
• 힌트 $\|DAE\| = 1$ 은 라소 및 LP 문제 전반에서 일관되게 더 빠른 수렴을 이끌어내었으며, 임의의 스케일링 선택보다 뛰어난 성능을 보였다.
• 추가 계산 없이 $\beta/\alpha$ 를 통한 적응형 스텝 사이즈 튜닝은 요소 분해나 온전한 초기화 오버헤드 없이도 수렴 속도를 향상시켰다.
• 이론적 보장이 없음에도 불구하고 반복적 균형 조정 방법은 강력한 경험적 성능를 보였지만, 극히 드문 경우에 조건수를 약간 증가시키기도 하였다.