[논문 리뷰] Reshaped Wirtinger Flow and Incremental Algorithm for Solving Quadratic System of Equations

Huishuai Zhang, Yi Zhou외 2명|arXiv (Cornell University)|2016. 05. 25.

Model Reduction and Neural Networks참고 문헌 55인용 수 29

한 줄 요약

이 논문은 단순한 비볼록 최적화 알고리즘인 Reshaped Wirtinger Flow(RWF)를 제안하며, 단서 회수 문제를 해결하기 위해 비연속적이고 이阶 손실 함수를 최소화하는 데 사용된다. RWF는 O(n) 측정값으로 진짜 신호로 기하급수적 수렴을 달성하며, 이는 이전 방법들보다 낮은 계산 비용을 갖는다. 또한 그 증분형 변종인 IRWF는 선형 수렴을 보장하며, 기존의 확률적 알고리즘들을 능가한다.

ABSTRACT

We study the phase retrieval problem, which solves quadratic system of equations, i.e., recovers a vector $\boldsymbol{x}\in \mathbb{R}^n$ from its magnitude measurements $y_i=|\langle \boldsymbol{a}_i, \boldsymbol{x} angle|, i=1,..., m$. We develop a gradient-like algorithm (referred to as RWF representing reshaped Wirtinger flow) by minimizing a nonconvex nonsmooth loss function. In comparison with existing nonconvex Wirtinger flow (WF) algorithm \cite{candes2015phase}, although the loss function becomes nonsmooth, it involves only the second power of variable and hence reduces the complexity. We show that for random Gaussian measurements, RWF enjoys geometric convergence to a global optimal point as long as the number $m$ of measurements is on the order of $n$, the dimension of the unknown $\boldsymbol{x}$. This improves the sample complexity of WF, and achieves the same sample complexity as truncated Wirtinger flow (TWF) \cite{chen2015solving}, but without truncation in gradient loop. Furthermore, RWF costs less computationally than WF, and runs faster numerically than both WF and TWF. We further develop the incremental (stochastic) reshaped Wirtinger flow (IRWF) and show that IRWF converges linearly to the true signal. We further establish performance guarantee of an existing Kaczmarz method for the phase retrieval problem based on its connection to IRWF. We also empirically demonstrate that IRWF outperforms existing ITWF algorithm (stochastic version of TWF) as well as other batch algorithms.

연구 동기 및 목표

• Wirtinger Flow(WF)와 Truncated Wirtinger Flow(TWF)와 같은 기존 비볼록 단서 회수 알고리즘의 계산 복잡도 및 샘플 복잡도 한계를 해결한다.
• 변수의 차수를 낮추기 위해 |⟨aᵢ, z⟩| − yᵢ 기반의 새로운 손실 함수를 개발하여 수렴 성질을 향상시킨다.
• 임의의 가우시안 측정값 하에서 제안된 RWF 알고리즘의 전역 수렴 보장을 수립한다.
• 계산 효율성과 확장성을 향상시키기 위해 증분/확률적 변종(IRWF)을 설계한다.
• IRWF가 선형 수렴을 달성하고 ITWF 및 Kaczmarz-PR과 같은 기존의 확률적 방법들을 능가함을 보여준다.

제안 방법

• 변수 z에 대해 이차 함수인 ℓ(z) = (1/(2m)) Σᵢ (|aᵢᵀz| − yᵢ)²의 새로운 손실 함수를 제안하며, 이는 WF의 사차 함수 손실에 비해 복잡도를 감소시킨다.
• 이 비연속적이고 비볼록 손실 함수를 최소화하는 경사 유사 알고리즘인 RWF를 개발하며, 하위미분 기반의 단순한 갱신 규칙을 사용한다.
• 초기 추정치가 진짜 신호 x의 상수 배수 내에 있도록 스펙트럼 초기화를 사용한다.
• 적절한 조건 하에서 기하급수적 수렴을 보장하는 단계 크기 규칙을 도입한다.
• 한 번에 한 개의 측정값을 사용하며 무작위 샘플링을 적용하는 증분/확률적 변종인 IRWF를 설계한다.
• IRWF와 카츠마르츠 방법 사이의 이론적 연관성을 수립하며, Kaczmarz-PR이 IRWF의 특수한 경우임을 보여준다.

실험 결과

연구 질문

• RQ1 기존의 비볼록 방법들과 비교해 복잡도가 낮고 비연속적인 손실 함수가 단서 회수 문제에서 수렴 속도 향상과 계산 비용 절감에 기여할 수 있는가?
• RQ2 RWF는 샘플 복잡도 O(n)로 기하급수적 수렴을 달성하는가? 이는 잘 알려진 최고의 결과와 일치하며, 기울기 단계에서 잘라내기(트렁케이션)가 필요하지 않은가?
• RQ3 RWF의 증분형 변종인 IRWF가 선형 수렴을 달성하고 ITWF와 같은 기존의 확률적 알고리즘들을 능가할 수 있는가?
• RQ4 카츠마르츠 방법과 제안된 증분형 RWF 프레임워크 사이의 이론적 연결 고리는 무엇인가?
• RQ5 IRWF의 성능은 수렴 속도와 정확도 측면에서 배치 알고리즘과 확률적 알고리즘과 비교해 실제로 어떻게 나타나는가?

주요 결과

• RWF는 O(n) 측정값으로 진짜 신호로 기하급수적 수렴을 달성하며, TWF와 동일한 샘플 복잡도를 갖지만 기울기 단계에서 잘라내기 없이도 성능을 유지한다.
• RWF는 낮은 차수의 손실 함수 덕분에 WF보다 계산 비용을 줄여 더 빠른 수치 성능를 보인다.
• 적절하게 초기화된 경우 IRWF는 진짜 신호로 선형 수렴을 달성하며, 이는 증분형 변종에 대한 이론적 보장을 제공한다.
• 단서 회수 문제에 대한 카츠마르츠 방법이 IRWF의 특수한 경우임을 입증하며, 그 경험적 성공에 대한 이론적 기반을 제공한다.
• 실험 결과는 IRWF가 배치형 RWF와 확률적 ITWF 알고리즘 모두보다 수렴 속도와 정확도 측면에서 뛰어나다는 것을 보여준다.