[논문 리뷰] Solving (most) of a set of quadratic equalities: Composite optimization for robust phase retrieval

John C. Duchi, Feng Ruan|arXiv (Cornell University)|2017. 05. 05.

Advanced X-ray Imaging Techniques참고 문헌 41인용 수 28

한 줄 요약

이 논문은 적대적인 측정 오염이 있는 상황에서 강건한 단서 복원 문제를 해결하기 위해 보조 선형 알고리즘을 기반으로 한 복합 최적화 프레임워크를 제안한다. 비볼록이고 비연속적인 $\ell_1$-손실 목표함수를 $f(x) = h(c(x))$ 형태로 재구성하여, $h$는 볼록이고 $c$는 연속임을 이용함으로써, 측정값 수 $m/n \geq 2$ 조건 하에 실수 신호의 고확률 복원을 달성하며, 조정이 필요 없고 측정 벡터에 대한 최소한의 가정만으로도 작동한다.

ABSTRACT

We develop procedures, based on minimization of the composition $f(x) = h(c(x))$ of a convex function $h$ and smooth function $c$, for solving random collections of quadratic equalities, applying our methodology to phase retrieval problems. We show that the prox-linear algorithm we develop can solve phase retrieval problems---even with adversarially faulty measurements---with high probability as soon as the number of measurements $m$ is a constant factor larger than the dimension $n$ of the signal to be recovered. The algorithm requires essentially no tuning---it consists of solving a sequence of convex problems---and it is implementable without any particular assumptions on the measurements taken. We provide substantial experiments investigating our methods, indicating the practical effectiveness of the procedures and showing that they succeed with high probability as soon as $m / n \ge 2$ when the signal is real-valued.

연구 동기 및 목표

• 센서의 제약으로 인해 정확한 등식 제약 조건이 이행 불가능한 상황에서 측정값이 손상되거나 노이즈가 있는 경우 강건한 단서 복원 문제에 도전한다.
• 단서 복원에서 발생하는 대규모 이차 등식 시스템을 효율적으로 해결할 수 있는 계산적으로 효율적이고 파rameter 조정이 없는 방법을 개발한다.
• 비볼록성과 비연속성 문제를 해결하기 위해 $f(x) = h(c(x))$ 형태의 복합 구조를 활용한다.
• 적대적인 측정 오류가 존재하는 상황에서도 진짜 신호 $x_\star$의 고확률 복원을 위한 이론적 보장을 수립한다.
• 측정 벡터 $a_i$에 대한 제한적인 가정이 없는 실용적인 알고리즘을 제공한다.

제안 방법

• 측정값에 대한 거대한 오차에 강건한 비볼록이고 비연속적인 목표함수인 $f(x) = \frac{1}{m}\| |Ax|^2 - b \|_1$ 를 최소화하는 방식으로 단서 복원 문제를 설정한다.
• 문제를 복합 최적화 문제로 재구성: $f(x) = h(c(x))$ 형태이며, $h(z) = \|z\|_1/m$ 는 볼록이고 $c(x) = [|\langle a_i,x\rangle|^2 - b_i]_{i=1}^m$ 는 연속이다.
• 보조 선형 알고리즘을 적용하여, 각 반복 단계에서 $c(x)$ 를 선형화하고, 이를 통해 해석 가능한 서브문제의 시퀀스를 도출한다.
• 정규화된 모델을 사용: $x_{k+1} = \arg\min_{x} \left\{ h(c(x_k) + \nabla c(x_k)^T(x - x_k)) + \frac{1}{2\alpha_k}\|x - x_k\|_2^2 \right\}$.
• 복소수 최적화를 위해 Wirtinger 미분법을 활용하고, $h$와 $\nabla c$의 Lipschitz 연속성 조건 하에 수렴 보장을 도출한다.
• 측정값 수 $m/n \geq 2$ 조건에서 실수 신호에 대해 고확률 복원을 확보하기 위해 체적 불등식과 커버링 수치 분석을 활용한다.

실험 결과

연구 질문

• RQ1 보조 선형 알고리즘에 기반한 복합 최적화 프레임워크는 적대적인 측정 오염이 있는 단서 복원 문제를 해결할 수 있는가?
• RQ2 차원 $n$ 인 신호 $x_\star$의 고확률 복원을 위해 필요한 최소 측정값 수 $m$ 는 얼마인가?
• RQ3 목표함수 $f(x) = h(c(x))$ 에 대해 보조 선형 알고리즘이 파rameter 조정 없이 해에 수렴하는가?
• RQ4 측정 벡터 $a_i$ 가 무작위이지만 반드시 등방성이나 비정규성 조건을 만족하지는 않을 경우 알고리즘이 어떻게 작동하는가?
• RQ5 일정 비율의 측정값이 손상된 경우에도 방법이 안정적인 복원을 달성할 수 있는가?

주요 결과

• 보조 선형 알고리즘은 $m/n \geq 2$ 조건 하에 실수 신호의 고확률 복원을 달성하며, 실험적으로 실용적인 효과를 입증한다.
• 측정값 수 $m$ 이 차원 $n$ 과 일정한 비율 이상이면 고확률 복원이 가능하며, 실수 신호의 경우 그 비율 상수는 약 2이다.
• 알고리즘은 보조 선형 업데이트를 통해 단지 볼록 서브문제를 푸는 것 외에 거의 조정이 필요 없이 작동한다.
• 체적 불등식과 커버링 수치 분석을 활용하여 이론적 보장을 확립하였으며, 이는 알고리즘이 높은 확률로 열악한 국소 최소값을 피할 수 있음을 보여준다.
• 복소수 신호의 경우 Wirtinger 미분법을 통해 프레임워크를 확장할 수 있으며, 알고리즘은 여전히 적대적인 측정 오류에 강건하다.
• 목표함수 $f(x) = \| |Ax|^2 - b \|_1/m$ 가 전역 최소값 집합 $X_\star$ 에서의 거리에 따라 급격히 증가함을 보여주어 안정적인 복원을 보장한다.