[논문 리뷰] Reshaped Wirtinger Flow for Solving Quadratic Systems of Equations

Huishuai Zhang, Yingbin Liang|arXiv (Cornell University)|2016. 05. 25.

Advanced X-ray Imaging Techniques인용 수 16

한 줄 요약

이 논문은 비볼록 최적화 알고리즘인 리셰입드 윌링거 플로우(RWF)를 제안한다. RWF는 단일 크기 측정값만을 이용해 정방정식 시스템을 풀기 위한 비연속적이고 이차적인 손실 함수를 최소화함으로써 단서 추론 문제를 해결한다. RWF는 오직 O(n)개의 측정값으로도 기하급수적 수렴을 달성하며, 기존 방법들보다 샘플 복잡도와 계산 효율성에서 뛰어나며, 이전 방법들에서 사용된 절단 단계를 피한다.

ABSTRACT

We study the phase retrieval problem, which solves quadratic system of equations, i.e., recovers a vector $\boldsymbol{x}\in \mathbb{R}^n$ from its magnitude measurements $y_i=|\langle \boldsymbol{a}_i, \boldsymbol{x} angle|, i=1,..., m$. We develop a gradient-like algorithm (referred to as RWF representing reshaped Wirtinger flow) by minimizing a nonconvex nonsmooth loss function. In comparison with existing nonconvex Wirtinger flow (WF) algorithm \cite{candes2015phase}, although the loss function becomes nonsmooth, it involves only the second power of variable and hence reduces the complexity. We show that for random Gaussian measurements, RWF enjoys geometric convergence to a global optimal point as long as the number $m$ of measurements is on the order of $n$, the dimension of the unknown $\boldsymbol{x}$. This improves the sample complexity of WF, and achieves the same sample complexity as truncated Wirtinger flow (TWF) \cite{chen2015solving}, but without truncation in gradient loop. Furthermore, RWF costs less computationally than WF, and runs faster numerically than both WF and TWF. We further develop the incremental (stochastic) reshaped Wirtinger flow (IRWF) and show that IRWF converges linearly to the true signal. We further establish performance guarantee of an existing Kaczmarz method for the phase retrieval problem based on its connection to IRWF. We also empirically demonstrate that IRWF outperforms existing ITWF algorithm (stochastic version of TWF) as well as other batch algorithms.

연구 동기 및 목표

• 단일 크기 측정값만을 이용해 벡터를 복원하는 단서 추론 문제를 비볼록 최적화 프레임워크를 통해 해결하는 것.
• 기존의 위르팅거 플로우(WF) 및 잘라내기 위르팅거 플로우(TWF) 방법들과 비교해 계산 복잡도를 낮추고 샘플 효율성을 향상시키는 것.
• 최적화 루프 내에서 기울기 절단을 필요로 하지 않으면서도 빠른 수렴을 유지하는 것.
• 확장 가능한 대규모 단서 추론을 위한 스토케스틱(증분) 버전인 IRWF를 개발하는 것.
• RWF와 IRWF에 대한 이론적 성능 보장을 수립하고, 이를 기존의 카츠마르츠 유형 방법들과 연결하는 것.

제안 방법

• 표준 WF보다 계산 비용을 줄이기 위해 변수에 대해 이차적일 뿐만 아니라 비연속적인 손실 함수를 제안한다.
• 기울기 절단을 피하는 기울기 유사 업데이트 규칙을 사용하여 구현을 단순화하고 효율성을 향상시킨다.
• 수렴을 위한 유리한 기하적 성질을 확보하기 위해 무작위 가우시안 측정 벡터를 사용한다.
• 측정값 수 m이 n의 주어진 순서에 있을 경우 RWF의 선형 수렴 속도를 유도한다.
• 측정값을 한 개씩 처리하는 스토케스틱 최적화를 가능하게 하는 증분 버전인 IRWF를 개발한다.
• IRWF와 카츠마르츠 방법 사이의 이론적 연결을 수립하여, 후자의 성능에 대해 새로운 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 단서 추론을 위한 비볼록 최적화 방법이 기울기 절단 없이 최소 샘플 복잡도로 기하급수적 수렴을 달성할 수 있는가?
• RQ2 RWF의 비연속적인 이차 손실 함수는 수렴성과 계산 비용 면에서 부드러운 대안과 비교해 어떻게 되는가?
• RQ3 RWF의 샘플 복잡도는 무엇이며, WF와 TWF와 비교해 어떻게 되는가?
• RQ4 RWF의 증분 버전인 IRWF는 선형 수렴을 달성하고 기존의 스토케스틱 방법들을 능가할 수 있는가?
• RQ5 IRWF와 전통적인 카츠마르츠 방법 사이의 이론적 연결은 무엇인가?

주요 결과

• RWF는 오직 O(n)개의 측정값으로도 전역 최적해로 기하급수적 수렴을 달성하며, TWF와 동일한 샘플 복잡도를 가지지만 기울기 절단이 필요하지 않다.
• RWF는 표준 위르팅거 플로우(WF)보다 계산 비용이 낮아 실질적으로 더 빠르다.
• IRWF는 진짜 신호로 선형 수렴을 보이며, 강력한 이론적 및 실험적 성능을 입증한다.
• 실험 결과 IRWF는 스토케스틱 TWF인 ITWF 알고리즘과 기타 배치 방법들보다 수렴 속도와 정확도 면에서 뛰어나다.
• 이 논문은 단서 추론을 위한 카츠마르츠 방법이 IRWF의 특수한 경우임을 입증하며, 그 성능에 대해 새로운 이론적 근거를 제공한다.
• 제안된 RWF 방법은 TWF와 동일한 샘플 복잡도를 가지지만, 더 단순한 업데이트 규칙과 더 나은 수치적 효율성을 갖는다.