[논문 리뷰] The PhaseLift for Non-quadratic Gaussian Measurements

Christos Thrampoulidis, Ankit Singh Rawat|arXiv (Cornell University)|2017. 12. 11.

Advanced X-ray Imaging Techniques참고 문헌 31인용 수 3

한 줄 요약

이 논문은 비제곱형 가우시안 측정값에서 구조적 신호를 복원하기 위해 비선형 측정값에서 전통적인 최소제곱법과 Lasso 방법이 선형 감도가 0($\mu_\ell = 0$)이 되어 실패할 경우에 사용할 수 있는 준지수형 최적화 방법인 PhaseLift를 제안한다. 문제를 고차원 공간으로 올림으로써 비선형 링크 함수를 올린 도메인에서 선형으로 다루는 것이 가능해지며, 비선형성의 특성을 반영하는 몇 가지 해석 가능한 매개변수에 의존하는 오차 한계를 갖는 일관된 복원을 달성한다.

ABSTRACT

We study the problem of recovering a structured signal $\mathbf{x}_0$ from high-dimensional measurements of the form $y=f(\mathbf{a}^T\mathbf{x}_0)$ for some nonlinear function $f$. When the measurement vector $\mathbf a$ is iid Gaussian, Brillinger observed in his 1982 paper that $\mu_\ell\cdot\mathbf{x}_0 = \min_{\mathbf{x}}\mathbb{E}(y - \mathbf{a}^T\mathbf{x})^2$, where $\mu_\ell=\mathbb{E}_{\gamma}[\gamma f(\gamma)]$ with $\gamma$ being a standard Gaussian random variable. Based on this simple observation, he showed that, in the classical statistical setting, the least-squares method is consistent. More recently, Plan \& Vershynin extended this result to the high-dimensional setting and derived error bounds for the generalized Lasso. Unfortunately, both least-squares and the Lasso fail to recover $\mathbf{x}_0$ when $\mu_\ell=0$. For example, this includes all even link functions. We resolve this issue by proposing and analyzing an appropriate generic semidefinite-optimization based method. In a nutshell, our idea is to treat such link functions as if they were linear in a lifted space of higher-dimension. An appealing feature of our error analysis is that it captures the effect of the nonlinearity in a few simple summary parameters, which can be particularly useful in system design.

연구 동기 및 목표

• 링크 함수가 짝수일 경우 선형 감도가 0($\\mu_\\ell = 0$)이 되어 최소제곱법과 Lasso 방법이 고차원 신호 복원에서 실패하는 문제를 해결하기 위해.
• 독립 동일분포 가우시안 $\mathbf{a}$를 갖는 비선형 측정값 $y = f(\mathbf{a}^T\mathbf{x}_0)$로부터 구조적 신호를 복원하기 위한 강건하고 일반적인 방법을 개발하기 위해.
• 비선형성의 영향을 소수의 요약 매개변수로 압축하여 이론적 오차 분석을 제공함으로써 실용적인 시스템 설계를 가능하게 하기 위해.

제안 방법

• 비선형 측정값을 선형으로 다룰 수 있도록 원래의 신호 복원 문제를 고차원 공간으로 올리는 것.
• 측정 모델의 구조와 비선형 함수의 이阶모멘트를 활용하여 복원 문제를 볼록 최적화 문제로 PhaseLift로 공식화하는 것.
• Brillinger(1982)의 핵심 통찰, 즉 $\mu_\ell = \mathbb{E}[\gamma f(\gamma)]$가 링크 함수 $f$의 효과적 선형 감도를 결정한다는 것을 활용하는 것.
• 원래의 비볼록 최적화 문제의 볼록 대체함수를 최소화하는 준지수형 프로그램을 설계하여 고차원 점근적 조건 하에서 일관성 보장하는 것.
• 비선형성의 영향을 정량화하기 위해 $f$와 가우시안 분포로부터 유도된 요약 매개변수를 도입하는 것.
• 이러한 매개변수에 따라 오차 한계를 확립하여 성능 예측과 시스템 설계를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 비선형 가우시안 측정값에서 $\mu_\ell = 0$일 경우 볼록 최적화 프레임워크가 구조적 신호를 복원할 수 있는가?
• RQ2 측정 함수 $f$의 비선형성은 어떻게 압축하여 이론적 오차 분석이 가능하게 할 수 있는가?
• RQ3 기존 방법이 선형 감도가 0일 경우 실패할 때, 올린 준지수형 프로그램의 신호 복원 성능은 어떠한가?
• RQ4 고차원 설정에서 $\mu_\ell$와 $f$의 고차 모멘트는 복원 오차에 어떤 영향을 미치는가?
• RQ5 오차 한계는 해석 가능한 시스템 수준의 매개변수로 표현될 수 있는가? 이는 측정 설계를 안내하는 데 기여하는가?

주요 결과

• 제안된 준지수형 최적화 방법은 $\mu_\ell = 0$일 경우에도 구조적 신호를 성공적으로 복원하여 최소제곱법과 Lasso 방법의 실패를 극복한다.
• 비선형 측정 모델이 고차원 공간에서 효과적으로 선형화되는 것에 기반하여 문제를 올림으로써 일관된 복원을 달성한다.
• 비선형성의 특성을 반영하는 소수의 요약 매개변수(예: $\mu_\ell = \mathbb{E}[\gamma f(\gamma)]$)로 표현된 오차 한계가 유도되어 해석 가능한 성능 분석이 가능하다.
• 오차 분석은 비선형 함수 $f$의 구조를 명시적으로 고려하여 시스템 설계 및 성능 예측을 위한 프레임워크를 제공한다.
• Plan & Vershynin의 결과를 짝수 링크 함수 및 선형 방법이 실패하는 기타 비선형성의 경우로 일반화한다.