[논문 리뷰] The generalized Lasso with non-linear observations

Yaniv Plan, Roman Vershynin|arXiv (Cornell University)|2015. 02. 13.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 19

한 줄 요약

이 논문은 비선형 관측 모델에서 일반화된 Lasso의 이론적 보장을 수립하며, 비선형 관측이 효과적인 스케일링 및 노이즈 파rameter를 갖는 노이즈가 있는 선형 관측과 유사하게 행동함을 보여준다. 일반적인 신호 구조 하에서 측정 행렬 공분산이 알려져 있지 않은 1비트 압축 측정에 대한 첫 번째 정확도 경계를 제시하며, 국소 평균 폭을 활용해 오차를 제어한다.

ABSTRACT

We study the problem of signal estimation from non-linear observations when the signal belongs to a low-dimensional set buried in a high-dimensional space. A rough heuristic often used in practice postulates that non-linear observations may be treated as noisy linear observations, and thus the signal may be estimated using the generalized Lasso. This is appealing because of the abundance of efficient, specialized solvers for this program. Just as noise may be diminished by projecting onto the lower dimensional space, the error from modeling non-linear observations with linear observations will be greatly reduced when using the signal structure in the reconstruction. We allow general signal structure, only assuming that the signal belongs to some set K in R^n. We consider the single-index model of non-linearity. Our theory allows the non-linearity to be discontinuous, not one-to-one and even unknown. We assume a random Gaussian model for the measurement matrix, but allow the rows to have an unknown covariance matrix. As special cases of our results, we recover near-optimal theory for noisy linear observations, and also give the first theoretical accuracy guarantee for 1-bit compressed sensing with unknown covariance matrix of the measurement vectors.

연구 동기 및 목표

• 실무자들이 이론적 근거 없이도 자주 사용하는 바람에 이론적 근거가 부족한 비선형 관측 모델에서 일반화된 Lasso를 사용하는 데 대한 이론적 정당성을 제공하기 위해.
• 비선형 관측(예: 양자화되거나 이진)이 효과적인 신호 대 노이즈 스케일링을 갖는 선형 관측과 유사하게 행동하는 방식을 규명하기 위해.
• 기존 이론을 측정 행렬의 공분산이 알려져 있지 않은 경우로 확장하여, 1비트 압축 측정과 같은 실제 적용 사례에 특히 관련성이 있도록 하기 위해.
• 측정 행렬 공분산이 알려져 있지 않은 상황에서 1비트 압축 측정에 대한 첫 이론적 정확도 보장을 수립하기 위해.
• 불연속적이거나 알려져 있지 않은 비선형성까지 포함한 비선형 모델 하에서 Lasso 기존 결과를 통합 및 일반화하기 위해.

제안 방법

• 관측값이 선형 측정의 비선형 함수인 반응형 모델을 사용: $ y_i = f_i(\langle \mathbf{a}_i, \mathbf{x} \rangle) $.
• 측정 행렬 $ \mathbf{A} $의 행들이 독립 동일분포 가우시안을 가지며, 알려져 있지 않은 공분산 $ \Sigma $를 갖는다. 이는 알려져 있지 않은 스케일링에 대한 강건성을 제공한다.
• 신호 공간에 변환을 적용하여 $ K $-Lasso: $ \min_{\mathbf{x}' \in K} \| \mathbf{A} \mathbf{x}' - \mathbf{y} \|_2 $ 를 사용한 구조적 추정 프레임워크로 문제를 축소한다.
• 집합 $ K $의 국소 평균 폭을 사용하여 신호 구조의 복잡성을 측정하고 추정 오차를 제어한다.
• 균일한 편차 부등식과 농도 경계를 사용하여 집합 $ K \cap tS^{n-1} $ 위에서 $ \mathbf{A} \mathbf{u} $의 $ \ell_1 $-노름을 제어함으로써 고확률 오차 경계를 확보한다.
• 비선형 모델을 스케일링된 관측과 노이즈가 있는 선형 모델로 간주할 수 있도록 하는 효과적 신호 강도 $ \mu(f) $와 노이즈 수준 $ \sigma(f) $를 유도한다.

실험 결과

연구 질문

• RQ1 비선형성이 알려져 있거나 불연속일지라도, 일반화된 Lasso가 비선형 관측에 대해 이론적으로 정당화될 수 있는가?
• RQ2 $ K $-Lasso의 성능은 특히 국소 평균 폭 측면에서 신호 집합 $ K $의 구조에 어떻게 의존하는가?
• RQ3 측정 행렬 공분산이 알려져 있지 않은 경우에도 1비트 압축 측정에 대한 이론적 보장을 확장할 수 있는가?
• RQ4 비정규 측정 행렬, 특히 서브가우시안 설계에서 결과가 어느 정도 유지되는가?
• RQ5 단일 색인 모델이 근사적으로만 참이 되는 경우, $ K $-Lasso는 모델 잘못 설정에 대해 얼마나 강건한가?

주요 결과

• 비선형 관측이 있는 일반화된 Lasso는 효과적 신호 강도 $ \mu(f) $와 노이즈 수준 $ \sigma(f) $를 갖는 노이즈가 있는 선형 모델과 약간 유사하게 행동하며, 이는 비선형성 $ f $에 따라 달라진다.
• 추정 오차는 신호 집합 $ K $의 국소 평균 폭에 의해 제어되며, 이는 신호 구조와 오차 사이의 상호 작용을 정밀하게 기술한다.
• 측정 행렬 공분산이 알려져 있지 않은 1비트 압축 측정에 대해, 본 논문은 일반적인 신호 구조 하에서 처음으로 이론적 정확도 보장을 제공한다. 이는 $ K $-Lasso 프레임워크를 기반으로 한다.
• 비선형성 $ f $가 불연속적이거나 일대일 대응이 아니거나 전혀 알려져 있지 않더라도, 관측 간에 독립 동일분포를 이룬다면 결과는 유효하다.
• 측정 행렬의 공분산이 알려져 있지 않은 경우에도 결과가 강건하며, 이는 이전 연구에서 공분산을 알려져 있거나 추정한 바에 비해 상당한 일반화이다.
• 서브가우시안 측정 행렬 하에서는 추가 오차 항이 발생할 것으로 예상되나, 신호가 너무 희박하지 않은 한 이 항은 사라진다.