[논문 리뷰] Hadamard Wirtinger Flow for Sparse Phase Retrieval

Fan Wu, Patrick Rebeschini|arXiv (Cornell University)|2020. 06. 01.

Advanced X-ray Imaging Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 희박한 위상 복원을 위한 두 단계의 기울기 기반 방법인 하다르드 위르팅어 플로우(HWF)를 제안한다. 이 방법은 하다르드 매개변수화를 사용하여 $\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$개의 샘플에서 지원 복원을 가능하게 하며, 신호에 큰 성분이 있을 경우 $k$에 대해 선형 샘플 복잡도를 달성한다. HWF는 명시적 정규화나 희박성 지식이 필요 없으며, 신호의 희박성에 적응하고, 기존 기울기 방법들보다 샘플 효율성이 뛰어나지만, 매개변수화의 특성으로 인해 하위선형 수렴을 보인다.

ABSTRACT

We consider the problem of reconstructing an $n$-dimensional $k$-sparse signal from a set of noiseless magnitude-only measurements. Formulating the problem as an unregularized empirical risk minimization task, we study the sample complexity performance of gradient descent with Hadamard parametrization, which we call Hadamard Wirtinger flow (HWF). Provided knowledge of the signal sparsity $k$, we prove that a single step of HWF is able to recover the support from $k(x^*_{max})^{-2}$ (modulo logarithmic term) samples, where $x^*_{max}$ is the largest component of the signal in magnitude. This support recovery procedure can be used to initialize existing reconstruction methods and yields algorithms with total runtime proportional to the cost of reading the data and improved sample complexity, which is linear in $k$ when the signal contains at least one large component. We numerically investigate the performance of HWF at convergence and show that, while not requiring any explicit form of regularization nor knowledge of $k$, HWF adapts to the signal sparsity and reconstructs sparse signals with fewer measurements than existing gradient based methods.

연구 동기 및 목표

• 기존 비볼록 최적화 방법이 지원 복원의 병목 현상으로 인해 일반적으로 $\mathcal{O}(k^2 \log n)$ 측정치가 필요로 하는 높은 샘플 복잡도 문제를 해결하기 위해.
• 정규화 없이 $k$ 또는 명시적 임계치 설정 없이도 신호의 희박성에 적응하는 단순한 알고리즘을 개발하기 위해.
• 기존의 두 단계 접근법을 활용하여 샘플 복잡도를 $\mathcal{O}(k \log n)$으로 향상시키기 위해: 초기 지원 탐지 후 하다르드 매개변수화를 사용한 기울기 하강법을 통한 신호 복원.
• 제안된 방법의 이론적 및 실증적 성능 분석을 통해, 특히 무작위 초기화 하에서의 수렴 행동과 강인성 분석을 위해.

제안 방법

• HWF는 두 단계 절차를 사용한다: 첫째, 간단한 초기화를 통해 단일 단계 기울기 업데이트를 통해 지원 상의 한 좌표를 추정하며, 복잡한 스펙트럼 또는 직교성 촉진 기법을 피한다.
• 둘째, 하다르드 매개변수화 $\mathbf{X} = \mathbf{U} \odot \mathbf{V}$를 사용한 비정규화된 경험 위험에 대해 기울기 하강법을 적용한다. 여기서 $\mathbf{U}, \mathbf{V} \in \mathbb{R}^n$은 최적화 변수이다.
• 매개변수화 덕분에 비활성 좌표($x^*_i = 0$)는 최적화 과정에서 $U^t_i$ 또는 $V^t_i$가 0에 가까워지면서 자연스럽게 0으로 유도되어, 희박성을 암묵적으로 촉진한다.
• 기울기 업데이트는 위르팅어 플로우 원리를 통해 유도되며, 업데이트 규칙 $\nabla_{\mathbf{u}} F(\mathbf{U}^t, \mathbf{V}^t) = 2 \nabla F(\mathbf{X}^t) \odot \mathbf{U}^t$는 비지원 좌표의 기울기 감쇠를 가속화한다.
• 이 방법은 실수 및 복소수 설정 모두에서 테스트되었으며, 수치 실험을 통해 무작위 초기화와 제안된 초기화(식 4) 하에서의 수렴을 비교하였다.

실험 결과

연구 질문

• RQ1 하다르드 매개변수화를 사용한 단일 기울기 하강 단계가 $\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$개의 샘플에서 $k$-희박 신호의 지원을 복원할 수 있는가?
• RQ2 HWF에서 명시적 정규화나 희박성 지식이 없음에도 불구하고 적응형 희박성 추정과 향상된 샘플 복잡도를 달성할 수 있는가?
• RQ3 무작위 초기화 하에서 HWF의 수렴 행동은 SPARTA 및 SWF와 같은 기존 방법과 비교해 어떻게 되는가?
• RQ4 신호에 큰 성분이 포함되어 있을 경우, $k$에 대한 사전 지식 없이도 HWF가 $k$에 대해 선형 샘플 복잡도를 달성할 수 있는가?

주요 결과

• HWF의 한 단계는 $\mathcal{O}(k(x^*_{\text{max}})^{-2} \log n)$개의 샘플을 사용해 $k$-희박 신호의 지원을 복원할 수 있으며, $x^*_{\text{max}}$가 0에서 벗어나면 $\mathcal{O}(k \log n)$으로 감소한다.
• SPARTA와 같은 기존 복원 알고리즘과 조합할 경우, HWF는 데이터 읽기 비용에 비례하는 총 실행 시간을 가지며 유리한 신호 조건 하에서 $\mathcal{O}(k \log n)$ 샘플 복잡도를 달성한다.
• HWF는 SPARTA 및 SWF와 같은 기존 기울기 기반 방법보다 낮은 샘플 복잡도를 보이며, 실증적 설정에서 PR-GAMP과 유사한 성능을 보인다.
• 매개변수화의 특성으로 인해 하위선형 수렴을 보이며, 비지원 좌표의 기울기 감쇠가 가속화되어 특히 무작위 초기화 하에서 오차의 초반 플랫폼이 관찰된다.
• 수치 결과는 HWF가 명시적 정규화나 $k$ 지식 없이도 실수 및 복소수 희박 신호를 성공적으로 복원하고, 진짜 희박성 수준에 적응함을 확인한다.