[논문 리뷰] Solving systems of phaseless equations via Riemannian optimization with optimal sampling complexity

Jian‐Feng Cai, Ke Wei|arXiv (Cornell University)|2018. 09. 08.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 14

한 줄 요약

이 논문은 랭크-1 양정부호 행렬의 저랭크 구조를 활용하여 $|\bm{A}\bm{x}|^2 = \bm{y}$ 형태의 단일위상 방정식 시스템을 해결하기 위해 잘리기 변형이 적용된 리emannian 경사하강법 알고리즘을 제안한다. 잘리기 변형은 선형 연산자의 제약 조건이 잘 충족되지 않는 상황에서도 정확한 복원을 달성하며, 샘플링 복잡도 $m \gtrsim n$ 에서 최적의 이론적 보장을 제공한다. 이는 선형 연산자의 제한된 잘 조절된 조건성 및 약한 상관관계 성질을 통해 확보된다.

ABSTRACT

A Riemannian gradient descent algorithm and a truncated variant are presented to solve systems of phaseless equations $|Ax|^2=y$. The algorithms are developed by exploiting the inherent low rank structure of the problem based on the embedded manifold of rank-$1$ positive semidefinite matrices. Theoretical recovery guarantee has been established for the truncated variant, showing that the algorithm is able to achieve successful recovery when the number of equations is proportional to the number of unknowns. Two key ingredients in the analysis are the restricted well conditioned property and the restricted weak correlation property of the associated truncated linear operator. Empirical evaluations show that our algorithms are competitive with other state-of-the-art first order nonconvex approaches with provable guarantees.

연구 동기 및 목표

• 측정값 $|\bm{A}\bm{x}|^2 = \bm{y}$ 에 대한 단일위상 방정식 시스템을 해결하기 위한 증명 가능한 수렴성을 갖춘 리emannian 최적화 프레임워크를 개발한다.
• 리emannian 경사하강법에서 선형 연산자의 농도가 낮은 문제를 해결하기 위해 잘리기 변형을 도입한다.
• 실수 또는 복소수 시스템에서 샘플링 복잡도 $m \gtrsim n$ 에서 최적의 조건 하에 이론적 복원 보장을 수립한다.
• 저랭크이고 양정부호인 행렬의 구조를 가진 단일위상 복원 문제에 리emannian 방법의 적용 가능성을 넓힌다.
• 대규모 단일위상 복원 문제에 대해 증명 가능한 성능을 갖춘 1차 비볼록 알고리즘을 제공한다.

제안 방법

• 해결 공간을 모델링하기 위해 랭크-1 양정부호 행렬의 임bedded 다양체를 활용한다.
• 저랭크 양정부호 행렬의 다양체 위에 리emannian 경사하강법을 수립한다.
• 선형 연산자의 농도가 낮은 문제를 다루기 위해 잘리기 변형을 도입하여 수렴 안정성을 향상시킨다.
• 큰 기울기를 억제하고 이상치가 존재하는 상황에서도 강인성을 확보하기 위해 잘리기 손실 함수를 사용한다.
• 이론적 분석은 잘리기 선형 연산자의 제한된 잘 조절된 조건성 및 제한된 약한 상관관계 성질에 기반한다.
• 수렴 분석은 하나의 관측치를 제외하는 기법과 행렬 농도 부등식을 활용한다.

실험 결과

연구 질문

• RQ1 저랭크 구조를 가진 단일위상 시스템에 대해 리emannian 최적화가 효과적으로 적용될 수 있는가?
• RQ2 잘리기 리emannian 경사하강법 알고리즘이 최적의 샘플링 복잡도에서 정확한 복원을 달성할 수 있는가?
• RQ3 선형 연산자의 제한된 잘 조절된 조건성 및 약한 상관관계 성질이 수렴에 어떤 영향을 미치는가?
• RQ4 실제 적용에서 제안된 방법이 최신 1차 비볼록 해법과 경쟁하거나 그에 못지않는 성능을 보일 수 있는가?
• RQ5 랭크-1 양정부호 행렬의 다양체 위에서 단일위상 복원 문제의 기하학적 구조는 어떠한가?

주요 결과

• 측정값 수 $m \gtrsim n$ 가 확보될 경우 잘리기 리emannian 경사하강법 알고리즘이 $\bm{x}$ 를 높은 확률로 정확히 복원한다.
• 잘리기 선형 연산자의 제한된 잘 조절된 조건성 및 제한된 약한 상관관계 성질을 활용하여 이론적 복원 보장을 확립한다.
• 실험 결과는 제안된 알고리즘이 정확도와 수렴 속도 측면에서 최신 1차 비볼록 방법과 경쟁 가능함을 보여준다.
• 알고리즘은 단일위상 복원 문제의 이론적 하한선에 맞는 최적의 샘플링 복잡도를 달성한다.
• 분석 결과 잘리기 변형이 선형 연산자의 농도가 열악한 상황에서 일반 리emannian 경사하강법이 실패하는 상황에서 수렴을 안정화시킴을 밝혀냈다.
• 이 프레임워크는 랭크-1 측정값으로부터 저랭크 양정부호 행렬 복원 문제로 자연스럽게 확장 가능하다.