[논문 리뷰] A Local Analysis of Block Coordinate Descent for Gaussian Phase Retrieval

David A. Barmherzig, Ju Sun|arXiv (Cornell University)|2017. 12. 06.

Optical measurement and interference techniques참고 문헌 11인용 수 3

한 줄 요약

이 논문은 가우시안 단백질 복원 문제에 대해 블록 좌표 강하(BCD) 알고리즘을 분석하여, 초기값이 해 근처에 있을 경우 전역 최소화점으로 선형 수렴함을 보여준다. ADMM에서 이중 변수를 0으로 고정하는 것은 최적화에서 이중 변수가 0이므로 정당화되며, 이 경우 BCD 방법은 이중선형 최소제곱 문제를 푸는 것과 동일해지고, 결정론적 초기화 하에 선형 수렴 속도로 수렴함을 증명한다.

ABSTRACT

While convergence of the Alternating Direction Method of Multipliers (ADMM) on convex problems is well studied, convergence on nonconvex problems is only partially understood. In this paper, we consider the Gaussian phase retrieval problem, formulated as a linear constrained optimization problem with a biconvex objective. The particular structure allows for a novel application of the ADMM. It can be shown that the dual variable is zero at the global minimizer. This motivates the analysis of a block coordinate descent algorithm, which is equivalent to the ADMM with the dual variable fixed to be zero. We show that the block coordinate descent algorithm converges to the global minimizer at a linear rate, when starting from a deterministically achievable initialization point.

연구 동기 및 목표

• 비볼록 문제에 대한 ADMM의 국소 수렴 행동을 이해하기 위해 가우시안 단백질 복원 문제를 모델로 사용한다.
• 가우시안 단백질 복원 문제에서 전역 최소화점에서 이중 변수가 0임을 보여주어 ADMM에서 이중 변수를 0으로 고정하는 것이 정당화됨을 입증한다.
• 이중 변수가 0인 ADMM와 동치인 블록 좌표 강하(BCD) 알고리즘의 수렴성을 분석한다.
• 초기값이 해의 근처에 있을 경우 BCD 알고리즘이 전역 최소화점으로 선형 수렴함을 확립한다.
• 스펙트럼 초기화가 전역 최소화점의 주변에 필요한 초기값을 결정론적으로 달성할 수 있음을 보여준다.

제안 방법

• 변수 분할을 통해 가우시안 단백질 복원 문제를 이중볼록 최적화 문제로 재구성: $ f(\mathbf{z}, \mathbf{w}) = \frac{1}{4m}\sum_{k=1}^m (y_k^2 - \mathbf{a}_k^T \mathbf{z} \mathbf{a}_k^T \mathbf{w})^2 $ 를 최소화하고 $ \mathbf{z} = \mathbf{w} $ 를 조건으로 한다.
• ADMM 알고리즘을 위한 보정 라그랑주 함수를 유도하여, 임계점에서 전역 최소화점에서 이중 변수 $ \mathbf{\lambda} = \mathbf{0} $ 임을 보여준다.
• 이중 변수 $ \mathbf{\lambda} $ 를 0으로 고정한 BCD 알고리즘을 제안하며, $ \mathbf{z} $ 와 $ \mathbf{w} $ 를 순차적으로 갱신한다.
• 무작위 가우시안 측정 벡터에 대한 기대값을 고려하여, 진짜 신호 근처에서의 국소 수렴에 초점을 맞춘 BCD 갱신을 분석한다.
• 스펙트럼 초기화를 통해 전역 최소화점의 주변에 필요한 초기값을 결정론적으로 확보한다.
• 내적과 노름을 기반으로 한 수축 증명을 사용하여, 각 BCD 단계가 진짜 신호까지의 거리를 일정 요소로 감소시킴을 보여주며 선형 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 ADMM 알고리즘이 가우시안 단백질 복원과 같은 비볼록 문제에 대해 국소 수렴을 엄밀히 분석할 수 있는가?
• RQ2 가우시안 단백질 복원 문제에서 전역 최소화점에서 이중 변수가 0인가? 이는 단순화된 BCD 접근법을 가능하게 한다.
• RQ3 고정된 이중 변수를 가진 BCD가 초기값이 해 근처에 있을 경우 전역 최소화점으로 선형 수렴하는가?
• RQ4 결정론적 스펙트럼 초기화가 선형 수렴을 위한 필요한 초기값 주변에 도달할 수 있는가?
• RQ5 무작위 측정 벡터에 대한 기대값에서 BCD 알고리즘의 수렴 속도는 얼마인가?

주요 결과

• 가우시안 단백질 복원 문제의 전역 최소화점에서 이중 변수 $ \mathbf{\lambda} $ 는 0이며, 이는 이중 변수를 고정-0으로 설정하는 데 정당화된다.
• 이중 변수가 0인 BCD 알고리즘은 ADMM과 동치이며, 전역 최소화점으로 선형 수렴 속도로 수렴한다.
• 알고리즘이 진짜 신호의 주변에 있을 경우 선형 수렴이 보장되며, 특히 $ \|\mathbf{w} - \mathbf{x}\| \leq \frac{1}{8}\|\mathbf{x}\| $ 일 때 성립한다.
• 이전 연구에서 보여준 바와 같이 스펙트럼 분해를 통해 필요한 초기화가 결정론적으로 달성될 수 있다.
• 각 BCD 단계가 해까지의 거리를 1보다 큰 상한을 가지는 요소로 감소시킴으로써 수렴 속도가 정량화되었으며, 이 수축 계수(contraction factor)는 초기화의 질에 따라 달라진다.
• 충분히 큰 펜alty 파라미터 $ \rho = C\|\mathbf{x}\|^2 $ (여기서 $ C \leq 27/8 $) 를 사용할 경우, BCD 반복값은 전역 최소화점의 주변에 머물며 선형 수렴함을 분석이 보여준다.