[논문 리뷰] Solving Random Quadratic Systems of Equations Is Nearly as Easy as Solving Linear Systems

Yuxin Chen, Emmanuel J. Candès|arXiv (Cornell University)|2015. 05. 19.

Soil Geostatistics and Mapping참고 문헌 50인용 수 89

한 줄 요약

이 논문은 적응형 임계값 처리와 특화된 목적 함수를 활용하여 무작위 2차 시스템을 해결하기 위한 새로운 비볼록 최적화 알고리즘을 제안한다. 선형 시간 수렴성을 달성한다. 약간의 조건 하에, 방정식의 수가 변수 수의 일정 배수를 초과할 경우, 진짜 해를 높은 확률로 복원할 수 있음을 증명한다. 이는 선형 시스템을 푸는 데 필요한 계산 복잡도와 일치한다.

ABSTRACT

We consider the fundamental problem of solving quadratic systems of equations in $n$ variables, where $y_i = |\\langle \\boldsymbol{a}_i, \\boldsymbol{x} \ angle|^2$, $i = 1, \\ldots, m$ and $\\boldsymbol{x} \\in \\mathbb{R}^n$ is unknown. We propose a novel method, which starting with an initial guess computed by means of a spectral method, proceeds by minimizing a nonconvex functional as in the Wirtinger flow approach. There are several key distinguishing features, most notably, a distinct objective functional and novel update rules, which operate in an adaptive fashion and drop terms bearing too much influence on the search direction. These careful selection rules provide a tighter initial guess, better descent directions, and thus enhanced practical performance. On the theoretical side, we prove that for certain unstructured models of quadratic systems, our algorithms return the correct solution in linear time, i.e. in time proportional to reading the data $\\{\\boldsymbol{a}_i\\}$ and $\\{y_i\\}$ as soon as the ratio $m/n$ between the number of equations and unknowns exceeds a fixed numerical constant. We extend the theory to deal with noisy systems in which we only have $y_i \\approx |\\langle \\boldsymbol{a}_i, \\boldsymbol{x} \ angle|^2$ and prove that our algorithms achieve a statistical accuracy, which is nearly un-improvable. We complement our theoretical study with numerical examples showing that solving random quadratic systems is both computationally and statistically not much harder than solving linear systems of the same size---hence the title of this paper. For instance, we demonstrate empirically that the computational cost of our algorithm is about four times that of solving a least-squares problem of the same size.

연구 동기 및 목표

• 위상 복원 및 신호 복구에서 흔히 발생하는 크기 측정치만 이용 가능한 2차 시스템을 해결하는 데 있어 계산적 과제를 해결하기 위해.
• 이러한 시스템에서 최대우도 추정의 계산 비가역성 문제를 피할 수 있는 효율적인 비볼록 최적화 방법을 개발하기 위해.
• 설계 벡터에 대한 최소한의 가정 하에 무작위 2차 시스템에서 선형 시간 수렴을 달성하기 위해.
• 노이즈가 있는 설정으로의 확장으로, 이론적 한계에 가까운 통계적 정확도를 확보하기 위해.

제안 방법

• 해의 좋은 초기 추정치를 확보하기 위해 스펙트럼 초기화를 수행한다.
• 2차 시스템의 구조에 맞게 특화된 비볼록 목적 함수를 사용하며, 기존의 Writinger 플로우와 같은 접근 방식과 다르다.
• 탐색 방향에 지나치게 영향을 줄 수 있는 항들을 적응적으로 제거하는 동적 업데이트 규칙을 적용하여 수렴 안정성을 향상시킨다.
• 각 반복에서 목적 함수의 충분한 감소를 보장하기 위해 백트래킹 선 탐색을 사용하며, 단계 크기 선택에 이론적 보장을 제공한다.
• 가장 신뢰할 수 있는 내림값 기여를 하는 항들에 집중하는 절단된 경험 리스크 최소화를 사용한다.
• 이론적 분석은 농도 부등식과 고차원 랜덤 행렬 이론에서 오차 항을 정밀하게 제어하는 데 기반한다.

실험 결과

연구 질문

• RQ1 무작위 2차 시스템을 실용적으로 효율적으로 해결할 수 있는가? 선형 시스템을 푸는 데 필요한 계산 비용에 근접하는가?
• RQ2 적응형 임계값 처리를 갖춘 비볼록 최적화 접근 방식이 기존 방법보다 수렴 속도와 정확도 측면에서 뛰어나게 되는가?
• RQ3 무작위 2차 시스템에서 진짜 해를 높은 확률로 복원하기 위해 필요한 최소 방정식 수는 얼마인가?
• RQ4 특히 영상 응용 분야에서 흔한 포isson 모델에서 노이즈 측정치 하에서 알고리즘이 어떻게 성능을 발휘하는가?
• RQ5 노이즈 조건 하에서 통계적 정확도를 이론적 한계에 거의 도달할 수 있는가?

주요 결과

• 방정식 수와 변수 수의 비율이 고정된 수치 상수를 초과할 경우, 알고리즘은 데이터를 읽는 데 비례하는 시간 내에 진짜 해를 복원한다.
• 노이즈가 있는 시스템에서는 통계적 정확도가 거의 향상시킬 수 없으며, Cramér-Rao 하한에 로그 인자 정도의 오차 범위 내에서 일치한다.
• 실험적으로 계산 비용은 동일 크기의 최소 제곱 문제를 푸는 데 비해 약 4배 정도이다.
• 이론적 분석은 약간의 무작위 설계 가정 하에 알고리즘이 진짜 해로 높은 확률로 수렴함을 보여준다.
• 적응형 임계값 처리와 목적 함수 설계 덕분에 더 낫게 초기 추정치와 더 나은 내림 방향을 확보하여 실용적 성능이 향상된다.