[논문 리뷰] Speeding-Up Convergence via Sequential Subspace Optimization: Current State and Future Directions

Michael Zibulevsky|arXiv (Cornell University)|2013. 12. 31.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 과거의 탐색 방향과 기울기를 포함하는 확장되는 부분공간에서 목적함수를 최소화하여 대규모 비제약 최적화 문제에서 수렴 속도를 가속화하는 Sequential Subspace Optimization (SESOP) 프레임워크를 제안한다. 부드러운 볼록 함수에 대해 $1/k^2$ 수렴 속도를 달성하며, 2차 문제에서 공액 기울기 방법 성능을 재현하며, 절단된 뉴턴, 좌표 내림(desccent), 그리고 대체 함수와의 통합을 통해 노이즈 제거, 역상태화, SVM 작업에서 표준 방법들을 능가한다.

ABSTRACT

This is an overview paper written in style of research proposal. In recent years we introduced a general framework for large-scale unconstrained optimization -- Sequential Subspace Optimization (SESOP) and demonstrated its usefulness for sparsity-based signal/image denoising, deconvolution, compressive sensing, computed tomography, diffraction imaging, support vector machines. We explored its combination with Parallel Coordinate Descent and Separable Surrogate Function methods, obtaining state of the art results in above-mentioned areas. There are several methods, that are faster than plain SESOP under specific conditions: Trust region Newton method - for problems with easily invertible Hessian matrix; Truncated Newton method - when fast multiplication by Hessian is available; Stochastic optimization methods - for problems with large stochastic-type data; Multigrid methods - for problems with nested multilevel structure. Each of these methods can be further improved by merge with SESOP. One can also accelerate Augmented Lagrangian method for constrained optimization problems and Alternating Direction Method of Multipliers for problems with separable objective function and non-separable constraints.

연구 동기 및 목표

• 신호 및 영상 처리에서 흔한 대규모이고 불량 조건을 가진 최적화 문제에서 느린 수렴 문제를 해결한다.
• 실제로 악관수 worst-case 경계를 가진 Nesterov나 FISTA와 같은 1차 방법의 한계를 극복한다.
• 비2차, 희소, 복합 목적함수에 대해 CG의 빠른 수렴 속도와 1차 방법의 강건성을 결합한 통합 프레임워크를 개발한다.
• 기존 가속 기법—예를 들어 절단된 뉴턴, 병렬 좌표 내림, 분리 가능한 대체 함수—과 SESOP를 통합하여 다양한 응용 분야에서 성능을 향상시킨다.
• 증강 라그랑주와 ADMM를 통해 SESOP를 제약 최적화로 확장하여 안정점 문제와 비분리 문제에서도 수렴 가속을 가능하게 한다.

제안 방법

• 현재 기울기, 최근 탐색 단계, 과거 기울기의 가중합으로 생성되는 애핀 부분공간에서 목적함수를 최소화하는 방식으로 SESOP를 수립하며, 이는 $1/k^2$ 수렴 속도를 유지한다.
• 낮은 차원의 부분문제를 효율적으로 해결하기 위해 SESOP 반복 과정 내에서 절단된 뉴턴(TN) 방법을 적용하여 헤시안 역행렬 계산 비용을 감소시킨다.
• 기울기 하강 대신 병렬 좌표 내림(PCD)과 분리 가능한 대체 함수(SSF) 방향을 활용하여 반복 계산 비용을 절감한다.
• f(x) = \phi(Ax) 형태의 경우 빠른 행렬-벡터 곱셈(예: FFT, 웨이블릿)을 활용하여 부분공간 최적화를 가속화하며, 이전 곱셈 결과를 재사용한다.
• 粗-격자 해를 탐색 방향에 포함시켜 멀티그리드 환경에 맞게 SESOP를 확장함으로써, 멀티그리드 효율성과 CG 유사 수렴 특성을 결합한다.
• 증강 라그랑주 및 ADMM 프레임워크 내에서 원자 및 이중 변수 부분공간에서 최적화함으로써 SESOP를 안정점 문제에 적용한다.

실험 결과

연구 질문

• RQ1 SESOP는 매끄러운 볼록 함수에 대해 $1/k^2$ 수렴 속도를 달성할 수 있으며, 2차 문제에서 CG 수렴 속도를 재현할 수 있는가?
• RQ2 절단된 뉴턴과 SESOP를 통합함으로써 표준 TN 대비 수렴 속도와 강건성이 향상되는가?
• RQ3 기울기 대신 PCD 또는 SSF 방향을 사용할 경우 희소 신호 복원 및 L1-정규화 문제에서 성능 향상 정도는 어느 정도인가?
• RQ4 증강 라그랑주와 ADMM를 통해 SESOP를 제약 최적화로 효과적으로 확장할 수 있으며, 수렴 가속 특성을 유지할 수 있는가?
• RQ5 SESOP는 신호 처리, 영상, 기계 학습 분야의 다양한 최적화 기법을 통합하고 가속화할 잠재력을 지닐 수 있는가?

주요 결과

• SESOP-TN는 절단된 뉴턴 단계에서 CG 반복 수에 관계없이 수렴 성능를 유지하며, 표준 TN과 달리 조기 절단 시 성능 저하가 발생하지 않는다.
• 비선형 문제인 Exponents-and-Squares ($n=200$)와 선형 SVM ($n=99,758$)에서, 1, 10, 40개의 CG 반복을 모두 초과하여 SESOP-TN는 표준 TN을 일관되게 능가한다.
• 모든 테스트된 희소 신호 근사 문제에서 SSF-SESOP는 FISTA보다 반복 수에서 뛰어난 성능을 보이며, 실용적 수렴 속도가 뛰어나다는 것을 시사한다.
• 2차 문제에서 SESOP는 CG와 동일한 수렴 속도를 달성함으로써, 2차 경우에 동치임을 확인하고 CG 유사 수렴 가속을 가능하게 한다.
• 세밀한 격자 SESOP 부분공간에 거친 격자 해를 통합함으로써 멀티그리드와 CG 유사 수렴 가속을 원활하게 통합할 수 있으며, 수렴 특성을 유지한다.
• 증강 라그랑주 및 ADMM 방법에 기반한 SESOP 기반 가속은 분리 가능한 목표함수와 비분리 제약 조건을 가진 제약 최적화 문제에 대해 유망한 성능 향상을 보여준다.