[논문 리뷰] Convergence of the randomized Kaczmarz method for phase retrieval

Halyun Jeong, C. Si̇nan Güntürk|arXiv (Cornell University)|2017. 06. 30.

Advanced X-ray Imaging Techniques참고 문헌 12인용 수 21

한 줄 요약

이 논문은 단서 복원에서 랜덤화된 카츠카랄즈 방법에 대한 최초의 엄밀한 수렴 보장을 확립한다. 고도의 확률로, 크기 $ m acksimeq d $인 무작위 측정 시스템이 진짜 신호에 가까이 초기화된 경우 평균 제곱 오차에서 지수적 수렴을 보장함을 보여준다. 이 방법은 랜덤화된 투영을 통해 단계적으로 위상 정보를 적응시키며, 선형 카츠카랄즈 방법과 비슷한 성능을 달성한다.

ABSTRACT

The classical Kaczmarz iteration and its randomized variants are popular tools for fast inversion of linear overdetermined systems. This method extends naturally to the setting of the phase retrieval problem via substituting at each iteration the phase of any measurement of the available approximate solution for the unknown phase of the measurement of the true solution. Despite the simplicity of the method, rigorous convergence guarantees that are available for the classical linear setting have not been established so far for the phase retrieval setting. In this short note, we provide a convergence result for the randomized Kaczmarz method for phase retrieval in $\mathbb{R}^d$. We show that with high probability a random measurement system of size $m \asymp d$ will be admissible for this method in the sense that convergence in the mean square sense is guaranteed with any prescribed probability. The convergence is exponential and comparable to the linear setting.

연구 동기 및 목표

• 비선형 단서 복원 설정에서 랜덤화된 카츠카랄즈 방법에 대한 이론적 수렴 보장을 확립하기 위해.
• 크기 $ m \asymp d $인 무작위 측정 시스템이 이 방법에 일반적으로 적합함을 보여주기 위해.
• 초기 조건이 약간의 조건을 만족할 경우, 평균 제곱 오차에서 지수적 수렴이 고도의 확률로 달성 가능함을 증명하기 위해.
• 단서 적응형 카츠카랄즈의 경험적 성공과 이론적 이해 사이의 격차를 메우기 위해.

제안 방법

• 이 방법은 현재 반복값의 측정 위상을 진짜 위상 대신 사용하는 랜덤화된 카츠카랄즈 업데이트를 사용한다.
• 예측 오차가 반복마다 감소하도록 보장하는 결정론적 조건인 $\delta$-적합성($\delta$-admissibility)이 도입된다. 이는 初기 상대 오차가 $\delta$ 이하일 경우에 해당한다.
• 랜덤 색인 선택 하에 스토크래틱 수렴 행동을 분석하기 위해 드리프트 분석과 도달 시간 경계를 적용한다.
• 단위 구면 $\mathbb{S}^{d-1}$ 에서 균일하게 추출된 랜덤 벡터에 대한 확률적 경계를 활용하며, $\mathbb{E}[|z \cdot \phi|^2]$ 와 $\mathbb{E}[|z \cdot \phi|^4]$ 의 모멘트 계산을 사용한다.
• 반복 과정 전반에 걸쳐 상대 오차가 유계임을 보장하기 위해 안정성 사건 $\Sigma$ 가 정의된다.
• 수렴 속도는 지수적임을 보이며, 감쇠 경계로 $\mathbb{E}[\mathrm{dist}^2(x,x_k) \mathbf{1}_\Sigma] \leq e^{-k/4d} \|z_0\|^2$ 를 얻는다.

실험 결과

연구 질문

• RQ1 단서 복원을 위한 랜덤화된 카츠카랄즈 방법이 무작위 측정 시스템 하에서 엄밀하게 수렴함을 입증할 수 있는가?
• RQ2 수렴이 고도의 확률로 보장되기 위해 필요한 최소 측정 수 $m$ 은 무엇인가? 특히 $ m \asymp d $ 영역에서의 경우.
• RQ3 초기 오차는 수렴에 어떤 영향을 미치며, 안정성을 보장하는 초기화 조건은 무엇인가?
• RQ4 단서 적응형 랜덤화된 카츠카랄즈 방법의 수렴 속도는 선형 경우와 비교해 어떻게 되는가?
• RQ5 측정 시스템에 대해 어떤 조건이 반복마다 기대 오차 감소를 보장하는가?

주요 결과

• 절대 상수 $ C, c, \delta_0 $ 가 존재하여, $ m \geq Cd $ 이면 측정 시스템 $ \Phi = (\phi_1, \dots, \phi_m) $ 가 확률 $ 1 - \exp(-cm) $ 으로 $\delta$-적합성이 보장된다.
• 초기 상대 오차가 $ \mathrm{dist}(x,x_0)/\|x\| \leq \delta_0 \varepsilon $ 를 만족할 경우, 안정성 사건 $ \Sigma = \{ \mathrm{dist}(x,x_k)/\|x\| \leq \delta_0 \text{ for all } k \geq 1 \} $ 가 확률 $ 1 - \varepsilon^2 $ 이상으로 발생한다.
• 조건부로 $ \Sigma $ 가 성립할 경우, 기대 제곱 오차는 지수적으로 감소하며, $ \mathbb{E}[\mathrm{dist}^2(x,x_k) \mathbf{1}_\Sigma] \leq e^{-k/4d} \|z_0\|^2 $ 를 만족한다.
• 수렴 속도는 선형 카츠카랄즈 방법과 유사하며, 차원 $ d $ 의 역수에 의해 지배되는 지수 감쇠를 보인다.
• 측정 벡터가 $ \mathbb{S}^{d-1} $ 에서 균일하게 추출된 경우, 이 방법은 수렴을 달성한다. 모멘트 계산을 통해 $ \mathbb{E}[|z \cdot \phi|^2] = \|z\|^2/d $ 과 $ \mathbb{E}[|z \cdot \phi|^4] = 3\|z\|^4/(d(d+2)) $ 를 얻는다.
• 분석 결과, 측정 시스템이 충분히 풍부하고 무작위일 경우, 진짜 해에 가까이 초기화된 상태에서 위상 불일치에 대해 이 방법이 강건함을 확인한다.