[논문 리뷰] Solving (Almost) all Systems of Random Quadratic Equations

Gang Wang, Georgios B. Giannakis외 2명|arXiv (Cornell University)|2017. 05. 01.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 무작위 이차방정식 시스템을 해결하기 위한 새로운 알고리즘을 제안한다. 가중 최대상관도 초기화를 통해 시작하여, 새로운 정규화 기법을 적용한 반복적 재가중 경사 하강 반복을 수행한다. m ≥ cn일 때 데이터 읽기 시간에 비례하는 시간 내에 높은 확률로 정확한 복원을 달성하며, 고차원 설정과 노이즈 조건에서 최신 기법들을 능가한다.

ABSTRACT

This paper deals with finding an $n$-dimensional solution $\bm{x}$ to a system of quadratic equations $y_i=|\langle\bm{a}_i,\bm{x} angle|^2$, $1\le i \le m$, which in general is known to be NP-hard. We put forth a novel procedure, that starts with a \emph{weighted maximal correlation initialization} obtainable with a few power iterations, followed by successive refinements based on \emph{iteratively reweighted gradient-type iterations}. The novel techniques distinguish themselves from prior works by the inclusion of a fresh (re)weighting regularization. For certain random measurement models, the proposed procedure returns the true solution $\bm{x}$ with high probability in time proportional to reading the data $\{(\bm{a}_i;y_i)\}_{1\le i \le m}$, provided that the number $m$ of equations is some constant $c > 0$ times the number $n$ of unknowns, namely, $m\ge cn$. Empirically, the upshots of this contribution are: i) perfect signal recovery in the high-dimensional regime given only an information-theoretic limit number of equations; and, ii) near-optimal statistical accuracy in the presence of additive noise. Extensive numerical tests using both synthetic data and real images corroborate its improved signal recovery performance and computational efficiency relative to state-of-the-art approaches.

연구 동기 및 목표

• m개의 이차 측정값 y_i = |⟨a_i, x⟩|²로부터 n차원 신호를 복원하는 NP-난이도 문제를 해결하기 위해.
• 정보이론적 한계에 가까운 표본 복잡도를 확보하면서도 계산적으로 효율적인 방법을 개발하기 위해.
• 고차원 설정에서 높은 계산 효율성을 유지하면서도 추가 노이즈에 대한 강건성을 향상시키기 위해.
• 비볼록 최적화에서 수렴성과 정확도를 향상시키는 새로운 재가중 정규화 전략을 도입하기 위해.

제안 방법

• 알고리즘은 몇 번의 거듭제곱 반복을 통해 계산되는 가중 최대상관도 초기화를 통해 해의 좋은 초기 추정치를 확보한다.
• 해를 정밀화하기 위해 반복적 재가중 경사 유형 반복을 사용하며, 수렴성을 향상시키기 위해 새로운 (재)가중 정규화를 통합한다.
• 재가중 메커니즘은 잔차 오차에 기반해 각 방정식의 영향력을 적응적으로 조정함으로써 강건성과 정확도를 향상시킨다.
• 알고리즘은 데이터를 읽는 데 비례하는 시간 내에 수렴하도록 설계되어 있어 대규모 문제에 대해 계산적으로 효율적이다.
• 무작위 측정 모델 하에서 이론적으로 분석되었으며, 어떤 상수 c > 0에 대해 m ≥ cn일 경우 높은 확률로 복원이 가능하다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 방법이 근본적으로 최소 수의 무작위 이차 측정값에서 진짜 신호를 정확히 복원할 수 있는가?
• RQ2 새로운 재가중 정규화가 이차방정식을 푸는 과정에서 수렴성과 강건성을 어떻게 향상시키는가?
• RQ3 m ≈ n일 때 고차원 영역에서 알고리즘이 얼마나 정확한 복원을 달성할 수 있는가?
• RQ4 기존 방법들과 비교해 추가 노이즈가 존재할 경우 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 방정식의 수 m이 알려진 미지수의 수 n의 정수 배수 c이므로 m ≥ cn일 때 높은 확률로 진짜 해를 복원한다.
• 데이터 읽기 시간에 비례하는 시간 내에 정확한 복원이 이루어지므로, 대규모 문제에 대해 계산적으로 효율적이다.
• 정보이론적 한계인 m ≈ n일 때에도 고차원 영역에서 완벽한 신호 복원 성능을 보인다.
• 추가 노이즈가 존재하는 상황에서 거의 최적의 통계적 정확도를 확보하며, 최신 기법들을 능가한다.
• 합성 데이터 및 실재 이미지에 대한 광범위한 수치 실험을 통해 뛰어난 신호 복원 성능과 계산 효율성이 확인되었다.