[논문 리뷰] Linearized Alternating Direction Method with Parallel Splitting and Adaptive Penalty for Separable Convex Programs in Machine Learning

Zhouchen Lin, Risheng Liu외 1명|arXiv (Cornell University)|2013. 10. 18.

Sparse and Compressive Sensing Techniques인용 수 53

한 줄 요약

이 논문은 기계학습에서 다중 블록 분리 가능한 볼록 프로그래밍을 해결하기 위해 선형화된 교대 방향 방법과 병렬 분할 및 적응형 벌점 항을 갖춘 LADMPSAP을 제안한다. 이는 더 강력한 수렴 보장을 달성하며, 유계가 아닌 벌점 매개수를 허용하고 전역 수렴을 위한 필요 및 충분 조건을 증명한다. 동시에 희소성 및 낮은 질서 문제에 대해 닫힌 형태의 해를 가능하게 하고, 효율적인 병렬 처리를 지원한다.

ABSTRACT

Many problems in machine learning and other fields can be (re)for-mulated as linearly constrained separable convex programs. In most of the cases, there are multiple blocks of variables. However, the traditional alternating direction method (ADM) and its linearized version (LADM, obtained by linearizing the quadratic penalty term) are for the two-block case and cannot be naively generalized to solve the multi-block case. So there is great demand on extending the ADM based methods for the multi-block case. In this paper, we propose LADM with parallel splitting and adaptive penalty (LADMPSAP) to solve multi-block separable convex programs efficiently. When all the component objective functions have bounded subgradients, we obtain convergence results that are stronger than those of ADM and LADM, e.g., allowing the penalty parameter to be unbounded and proving the sufficient and necessary conditions} for global convergence. We further propose a simple optimality measure and reveal the convergence rate of LADMPSAP in an ergodic sense. For programs with extra convex set constraints, with refined parameter estimation we devise a practical version of LADMPSAP for faster convergence. Finally, we generalize LADMPSAP to handle programs with more difficult objective functions by linearizing part of the objective function as well. LADMPSAP is particularly suitable for sparse representation and low-rank recovery problems because its subproblems have closed form solutions and the sparsity and low-rankness of the iterates can be preserved during the iteration. It is also highly parallelizable and hence fits for parallel or distributed computing. Numerical experiments testify to the advantages of LADMPSAP in speed and numerical accuracy.

연구 동기 및 목표

• 기존의 교대 방향 방법(ADM)이 다중 블록 분리 가능한 볼록 프로그래밍에 확장될 때 수렴 보장이 부족한 문제를 해결한다.
• 다수의 변수 블록을 가진 문제에서 전역 수렴과 빠른 수렴 속도를 유지하는 방법을 개발한다.
• 희소 표현 및 낮은 질서 복원과 같은 대규모 기계학습 문제에서 닫힌 형태의 하위문제와 병렬 처리를 지원함으로써 효율적인 계산을 가능하게 한다.
• 실세계 응용에서 수렴 속도를 높이기 위해 적응형 벌점 매개수 갱신 전략을 포함한 실용적인 알고리즘을 제공한다.
• 목적 함수가 분리 가능하지 않거나 제약 조건이 있는 경우, 목적 함수의 일부를 선형화함으로써 방법을 일반화한다.

제안 방법

• 모든 변수 블록을 동시에 갱신함으로써 순차적 의존성을 피하는 병렬 분할을 갖춘 선형화된 교대 방향 방법(LADMPSAP)을 제안한다.
• 수렴 진전에 따라 동적으로 조정되는 적응형 벌점 매개수 전략을 도입하여, 수렴을 보장하면서도 무한성 증가를 허용한다.
• 선형화된 보완 라그랑주 형식을 사용하여 하위문제를 단순화하고, 노르름 및 ℓ₁-노름 항에 대해 닫힌 형태의 해를 가능하게 한다.
• 하위문제 갱신의 안정성과 수렴 행동 향상을 위해 적응형 스케일링을 갖춘 프록시멀 항을 통합한다.
• 에르고딕 방식으로 수렴을 모니터링하기 위해 원시 잔여항과 이중 갭을 기반으로 한 새로운 최적성 측도를 적용한다.
• 볼록 집합 제약 조건이 있는 문제에 대해 정교화된 매개수 추정을 도입하여 실용적 환경에서 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 기존의 ADM 변종보다 더 강력한 수렴 보장을 갖는 선형화된 교대 방향 방법이 다중 블록 분리 가능한 볼록 프로그래밍에 확장될 수 있는가?
• RQ2 벌점 매개수가 무한성 증가를 허용함으로써 전역 수렴을 유지하면서도 수렴 속도가 향상되는가?
• RQ3 반복 과정에서 희소성 및 낮은 질서 구조를 유지할 수 있는가? 이는 희소성 및 낮은 질서 복원 문제에 적합한가?
• RQ4 고정 또는 히우리스틱 벌점 갱신 전략에 비해 적응형 벌점 전략은 수렴 속도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 수렴성과 효율성을 유지하면서도 목적 함수가 분리 가능하지 않거나 제약 조건이 있는 경우 일반화할 수 있는가?

주요 결과

• LADMPSAP은 ADM 및 LADM보다 더 약한 가정 하에 전역 수렴을 확립하며, 수렴을 위한 필요 및 충분 조건을 모두 증명한다.
• 이 방법은 여전히 수렴을 보장하면서도 벌점 매개수가 무한성 증가를 허용한다. 이는 이전 방법에 비해 중대한 개선이다.
• 에르고딕 수렴이 증명되었으며, 수렴 속도는 O(1/K)이다. 여기서 K는 반복 횟수이다.
• 볼록 집합 제약 조건이 있는 문제에서는 정교화된 매개수 추정이 실용적 환경에서 수렴 속도를 가속화한다.
• 희소 표현 및 낮은 질서 복원 작업에 대한 수치 실험에서 높은 수치 정확도와 뛰어난 속도를 달성한다.
• 목적 함수가 노르름 또는 ℓ₁-노름일 경우 하위문제가 닫힌 형태의 해를 갖는다. 이는 효율적이고 확장 가능한 계산을 가능하게 한다.