[논문 리뷰] Solving Systems of Random Quadratic Equations via Truncated Amplitude Flow

Gang Wang, Georgios B. Giannakis외 1명|arXiv (Cornell University)|2016. 05. 26.

Sparse and Compressive Sensing Techniques참고 문헌 66인용 수 55

한 줄 요약

이 논문은 단층화된 진폭 흐름(Truncated Amplitude Flow, TAF)을 제안한다. TAF는 위상 복원 문제에서 나타나는 무작위 이차방정식 시스템 $ y_i = |\langle \mathbf{a}_i, \mathbf{x} \rangle|^2 $ 를 해결하기 위한 새로운 알고리즘이다. TAF는 거듭제곱 반복을 통한 수직성 유도 초기화와 잘라내기 그래디언트 업데이트를 사용하여, $ m \approx n $ 일 때 정확한 복원(전역 위상까지)을 고확률로 달성하며, $ O(nm) $ 복잡도로 전역 최소값으로 선형 수렴한다.

ABSTRACT

This paper presents a new algorithm, termed \emph{truncated amplitude flow} (TAF), to recover an unknown vector $\bm{x}$ from a system of quadratic equations of the form $y_i=|\langle\bm{a}_i,\bm{x} angle|^2$, where $\bm{a}_i$'s are given random measurement vectors. This problem is known to be \emph{NP-hard} in general. We prove that as soon as the number of equations is on the order of the number of unknowns, TAF recovers the solution exactly (up to a global unimodular constant) with high probability and complexity growing linearly with both the number of unknowns and the number of equations. Our TAF approach adopts the \emph{amplitude-based} empirical loss function, and proceeds in two stages. In the first stage, we introduce an \emph{orthogonality-promoting} initialization that can be obtained with a few power iterations. Stage two refines the initial estimate by successive updates of scalable \emph{truncated generalized gradient iterations}, which are able to handle the rather challenging nonconvex and nonsmooth amplitude-based objective function. In particular, when vectors $\bm{x}$ and $\bm{a}_i$'s are real-valued, our gradient truncation rule provably eliminates erroneously estimated signs with high probability to markedly improve upon its untruncated version. Numerical tests using synthetic data and real images demonstrate that our initialization returns more accurate and robust estimates relative to spectral initializations. Furthermore, even under the same initialization, the proposed amplitude-based refinement outperforms existing Wirtinger flow variants, corroborating the superior performance of TAF over state-of-the-art algorithms.

연구 동기 및 목표

• 위상 복원에서 흔히 발생하는 크기만의 측정값 $ y_i = |\langle \mathbf{a}_i, \mathbf{x} \rangle|^2 $ 로부터 알려지지 않은 벡터 $ \mathbf{x} $ 를 복원하는 NP-난이도 문제를 해결하기 위해.
• 최소한의 샘플 복잡도로 정확한 복원을 달성하는 효율적이고 확장 가능한 알고리즘을 개발하기 위해.
• 위상 복원에서 진폭 기반 손실 함수의 비볼록성과 비연속성 문제를 극복하기 위해.
• 기존의 Wirtinger 흐름 변종을 개선하기 위해 실수값 설정에서 잘못된 부호를 수정하는 새로운 그래디언트 잘라내기 규칙을 도입하기 위해.

제안 방법

• 두 단계 알고리즘을 제안한다: 첫째, 좋은 초기 추정치를 확보하기 위해 몇 번의 거듭제곱 반복을 통한 수직성 유도 초기화를 수행한다.
• 둘째, 잘라내기 일반화 그래디언트 반복을 적용하여 추정치를 정밀화하며, 실수값 케이스에서 수렴성과 부호 보정을 향상시키는 그래디언트 잘라내기 규칙을 적용한다.
• 강건성이 강한 진폭 기반 경험 손실 함수 $ h(\mathbf{z}) = \frac{1}{2m} \sum_{i=1}^m (\psi_i - |\langle \mathbf{a}_i, \mathbf{z} \rangle|)^2 $ 를 사용한다.
• 실수값 설정에서 잘못된 부호를 고확률로 제거할 수 있는 잘라내기 규칙을 도입하여, 잘라내지 않은 버전보다 향상된 성능을 달성한다.
• 집중 부등식과 하위지수 尾 꼬리 유계를 사용하여 그래디언트 및 헤시안 유사 항의 행동에 대한 확률적 보장을 수립한다.
• 랜덤 측정 벡터 $ \mathbf{a}_i \sim \mathcal{N}(0, I) $ 를 가정하여 분석하고, $ m = O(n) $ 측정치로도 고확률로 정확한 복원이 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 위상 복원 문제를 선형 수렴과 최소한의 샘플 복잡도로 효율적으로 해결할 수 있는가?
• RQ2 잘라내기 그래디언트 방법이 정확도와 강건성 측면에서 표준 Wirtinger 흐름보다 뛰어나게 성능을 높일 수 있는가?
• RQ3 거듭제곱 반복 기반의 새로운 초기화가 스펙트럼 초기화보다 복원 성능을 향상시키는가?
• RQ4 진폭 기반 손실 함수에서 그래디언트 잘라내기로 실수값 위상 복원에서 잘못된 부호를 고확률로 수정할 수 있는가?
• RQ5 진폭 기반 최적화를 사용할 경우 정확한 복원을 위해 필요한 이론적 샘플 복잡도는 얼마인가?

주요 결과

• TAF는 $ m = O(n) $ 일 때 고확률로 $ \mathbf{x} $ 를 정확히 복원한다(전역 단위상까지). 이는 정보 이론적 하한선과 일치한다.
• 알고리즘은 $ O(nm) $ 계산 복잡도로 전역 최소값으로 선형 수렴하며, 미지수와 방정식의 수에 따라 선형적으로 확장된다.
• 제안된 초기화 방법은 표준 스펙트럼 초기화보다 강건성과 정확도를 크게 향상시키며, 특히 저SNR 환경에서 뚜렷한 성능 향상을 보인다.
• 실수값 설정에서 잘라낸 그래디언트 규칙은 잘못된 부호를 고확률로 제거할 수 있으며, 이는 잘라내지 않은 변종보다 뚜렷한 성능 향상을 이끈다.
• 합성 데이터 및 실사진에 대한 수치 실험을 통해 TAF가 Wirtinger 흐름을 포함한 최신 알고리즘보다 수렴 속도와 복원 정확도에서 뛰어난 성능을 보임을 확인하였다.
• 이론적 분석을 통해 잘라낸 그래디언트 방법이 비연속성과 비볼록성의 진폭 기반 목표 함수에서도 안정적인 수렴을 달성함을 확인하였다.