[논문 리뷰] On Gradient Descent Algorithm for Generalized Phase Retrieval Problem

Ji Li, Tie Zhou|arXiv (Cornell University)|2016. 07. 05.

Advanced X-ray Imaging Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 일반화된 단층 회수 문제에 대해 최소제곱 설정을 사용하여 경사하강법의 전역 수렴성을 확립한다. 측정값 수 $ m $ 가 충분히 많을 경우(예: 가우시안 모델에서 $ \mathcal{O}(n\log n) $) 무작위 초기화로부터의 수렴을 증명한다. 또한 실수 신호에 대해 비용 함수의 국소적 볼록성을 보이며, 수치 실험에서 다른 선색 검색 및 투영 기반 방법들보다 LBFGS의 우수한 성능을 입증한다.

ABSTRACT

In this paper, we study the generalized phase retrieval problem: to recover a signal $\bm{x}\in\mathbb{C}^n$ from the measurements $y_r=\lvert \langle\bm{a}_r,\bm{x} angle vert^2$, $r=1,2,\ldots,m$. The problem can be reformulated as a least-squares minimization problem. Although the cost function is nonconvex, the global convergence of gradient descent algorithm from a random initialization is studied, when $m$ is large enough. We improve the known result of the local convergence from a spectral initialization. When the signal $\bm{x}$ is real-valued, we prove that the cost function is local convex near the solution $\{\pm\bm{x}\}$. To accelerate the gradient descent, we review and apply several efficient line search methods. We also perform a comparative numerical study of the line search methods and the alternative projection method. Numerical simulations demonstrate the superior ability of LBFGS algorithm than other algorithms.

연구 동기 및 목표

• 무작위 초기화로부터 일반화된 단층 회수 문제에 대한 경사하강법의 전역 수렴성을 확립하여 스펙트럼 초기화에 의존하지 않도록 한다.
• 신호가 실수일 때 최소제곱 비용 함수의 국소적 볼록성을 분석한다.
• 비선형 공액 기울기와 같은 효율적인 선색 검색 방법(예: NCG, LBFGS)을 통해 수렴 속도를 가속화한다.
• LBFGS, NCG 및 다른 투영 기반 방법의 성능을 수치적으로 비교한다.
• 가우시안 및 코딩된 회절 패턴 모델 하에서 성공적인 복원을 위한 샘플링 복잡도에 대한 이론적 보장을 제공한다.

제안 방법

• 단층 회수 문제를 비볼록 최소제곱 최적화 문제로 재정의한다: $ \min_{\bm{z} \in \mathbb{C}^n} f(\bm{z}) = \frac{1}{2m} \sum_{r=1}^m (|\bm{a}_r^*\bm{z}|^2 - y_r)^2 $.
• 적절한 스텝 크기를 사용하여 비용 함수를 최소화하기 위해 경사하강법을 적용하고, 가우시안 벡터일 경우 $ m = \mathcal{O}(n\log n) $, 코딩된 회절 패턴일 경우 $ \mathcal{O}(n\log^3 n) $ 일 때 무작위 초기화로부터 전역 수렴을 증명한다.
• 복소수 헤시안 분석과 농도 부등식을 사용하여, 모든 국소 최소화자가 높은 확률로 전역 최소화자임을 보인다.
• 신호 $ \bm{x} \in \mathbb{R}^n $ 일 때, $ \pm\bm{x} $ 근처에서 비용 함수 $ f(\bm{z}) $ 가 국소적으로 볼록함을 보이며, 헤시안 행렬이 이웃 영역에서 양의 정부호임을 보여준다.
• 수렴 속도를 향상시키기 위해 비선형 공액 기울기와 제한된 메모리 BFGS(LBFGS)를 사용하고, 복소수 함수에 적합한 선색 검색을 적용한다.
• LBFGS, NCG 및 대체 투영 방법(예: RAAR) 간의 비교 수치 실험을 수행하여 수렴 속도와 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 고정된 스텝 크기를 사용한 경사하강법이 일반화된 단층 회수 문제에서 무작위 초기화로부터 전역 수렴을 달성할 수 있는가?
• RQ2 높은 확률로 전역 수렴을 보장하기 위해 필요한 샘플링 복잡도 $ m $ 는 얼마인가?
• RQ3 실수 신호에 대해 진짜 신호 근처에서 최소제곱 비용 함수가 국소적으로 볼록한가?
• RQ4 다양한 선색 검색 방법(예: LBFGS, NCG)은 수렴 속도와 초기화에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ5 LBFGS는 전통적인 교차 투영 방법보다 수렴 속도와 정확도 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 가우시안 측정 벡터에 대해 $ m = \mathcal{O}(n\log n) $ 일 때 적절한 스텝 크기를 사용한 경사하강법은 무작위 초기화로부터 전역 수렴을 보인다.
• 측정 수 $ m $ 가 충분히 클 경우 최소제곱 비용 함수의 모든 국소 최소화자는 높은 확률로 전역 최소화자이다.
• 실수 신호에 대해 비용 함수 $ f(\bm{z}) $ 는 $ \pm\bm{x} $ 근처에서 국소적으로 볼록하며, 이는 경사하강법이 전역 해로 수렴함을 보장한다.
• 비용 함수의 헤시안 행렬이 해의 이웃 영역에서 높은 확률로 양의 정부호임을 보여주어 국소 볼록성에 기여한다.
• 수치 결과는 LBFGS가 NCG 및 대체 투영 방법 모두보다 수렴 속도와 강건성 측면에서 뚜렷이 뛰어나다는 것을 입증한다.
• 코딩된 회절 패턴 모델의 경우 성공적인 복원을 위한 샘플링 복잡도는 $ \mathcal{O}(n\log^3 n) $ 이며, 이는 이전의 한계를 향상시킨다.