[논문 리뷰] Compressed Sensing with Nonlinear Observations and Related Nonlinear Optimisation Problems

Thomas Blumensath|arXiv (Cornell University)|2012. 05. 08.

Sparse and Compressive Sensing Techniques참고 문헌 9인용 수 14

한 줄 요약

이 논문은 비선형 관측 모델로 압축 측정 기반 이론을 확장하며, 비선형 사상의 야코비안이 제한 이소메트릭 성질(Restricted Isometry Property, RIP)을 만족할 경우 반복적 하드 테이블링(IHT) 알고리즘이 희소 또는 구조적 신호를 소수의 비선형 측정값으로 복원할 수 있음을 보여준다. 주요 기여는 선형 압축 측정 기반 이론의 프레임워크와 유사한 조건 하에서 이론적 복원 보장을 수립한 점이며, 오차 한계는 선형 경우와 유사하다.

ABSTRACT

Non-convex constraints have recently proven a valuable tool in many optimisation problems. In particular sparsity constraints have had a significant impact on sampling theory, where they are used in Compressed Sensing and allow structured signals to be sampled far below the rate traditionally prescribed. Nearly all of the theory developed for Compressed Sensing signal recovery assumes that samples are taken using linear measurements. In this paper we instead address the Compressed Sensing recovery problem in a setting where the observations are non-linear. We show that, under conditions similar to those required in the linear setting, the Iterative Hard Thresholding algorithm can be used to accurately recover sparse or structured signals from few non-linear observations. Similar ideas can also be developed in a more general non-linear optimisation framework. In the second part of this paper we therefore present related result that show how this can be done under sparsity and union of subspaces constraints, whenever a generalisation of the Restricted Isometry Property traditionally imposed on the Compressed Sensing system holds.

연구 동기 및 목표

• 압축 측정 이론을 선형 관측 모델에서 비선형 관측 모델로 일반화하기.
• 관측이 비선형인 경우 반복적 하드 테이블링(IHT) 알고리즘이 신호 복원에 활용될 수 있는지 탐구하기.
• 희소 또는 구조적 신호를 비선형 측정값으로 안정적이고 정확하게 복원하기 위한 충분조건을 설정하기 — 특히, Φ(x)의 야코비안에 대한 제한 이소메트릭 성질(Restricted Isometry Property)을 제시하기.
• 구조적 제약 조건(예: 부분공간의 합집합 등) 하에서 일반적인 비볼록 최적화 문제로 이 프레임워크를 확장하기.
• 비선형 환경에서 IHT의 이론적 성능을 분석하고, 볼록 완화 및 탐욕적 방법과 비교하기.

제안 방법

• 비선형 사상에 의해 생성되는 관측 모델을 제안함: y = Φ(x) + e, 여기서 Φ는 비선형이다.
• 신호 추정치를 반복적으로 업데이트하고 희소성 또는 구조 유지에 위해 하드 테이블링을 적용함으로써 IHT 알고리즘을 비선형 환경에 적응시킴.
• Φ(x)의 야코비안에 대해 제한 이소메트릭 성질(Restricted Isometry Property, RIP) 조건을 도입함 — 이는 야코비안이 희소 벡터의 노름을 유한한 왜곡 범위 내에서 유지함을 요구함.
• 야코비안-RIP 조건 하에서 IHT의 복원 오차 한계를 수립함 — 이 경우 오차는 최적의 k-항 근사 오차와 노이즈 수준에 비례함.
• 신호가 여러 선형 부분공간 중 하나에 속해 있는 유형의 비볼록 제약 조건(예: 부분공간의 합집합)으로 이 프레임워크를 일반화함.
• 일반적인 비선형 최적화 문제에서 수렴 보장의 대안 조건으로 제한 엄격한 볼록성(Restricted Strict Convexity)을 분석함 — 그러나 비아핀 비선형 사상 Φ에 대해서는 일반적인 비선형 압축 측정 기반 이론에 적용 가능성이 제한됨.

실험 결과

연구 질문

• RQ1 압축 측정 이론에서 반복적 하드 테이블링(IHT) 알고리즘이 비선형 측정값으로부터 신호를 성공적으로 복원하는 데 적용될 수 있는가?
• RQ2 비선형 측정 사상 Φ(x)에 대해 어떤 조건이 희소 또는 구조적 신호의 안정적이고 정확한 복원을 보장하는가?
• RQ3 Φ(x)의 야코비안에 대해 제한 이소메트릭 성질(Restricted Isometry Property)이 존재할 경우, 선형 압축 측정 기반 이론과 유사한 복원 성능을 확보할 수 있는가?
• RQ4 비선형 압축 측정 이론의 이론적 프레임워크는 구조적 제약 조건 하에서 일반적인 비볼록 최적화 문제와 어떻게 관련되어 있는가?
• RQ5 제한 엄격한 볼록성 성질은 비선형 최적화에서 수렴성과 정확성을 보장하기 위해 야코비안-RIP의 타당한 대안이 될 수 있는가?

주요 결과

• 비선형 관측에서 반복적 하드 테이블링(IHT) 알고리즘이 측정 사상의 야코비안에 제한 이소메트릭 성질(Restricted Isometry Property)이 만족될 경우 희소 또는 구조적 신호를 복원할 수 있다.
• 복원 오차는 신호의 최적 k-항 근사 오차와 노이즈 수준에 비례하는 항으로 유계이며, 이 상수는 오직 이소메트릭 상수 δ에 의존한다.
• 야코비안-RIP 조건은 비선형 압축 측정 이론에서 안정적 복원을 보장하는 충분조건임이 입증되었으며, 선형 경우와 유사한 성질을 가진다.
• 제한 엄격한 볼록성 성질은 일반적인 비볼록 최적화 문제에서 수렴을 보장하는 데에는 충분하지만, 비아핀 비선형 사상 Φ에 대해 일반적인 비선형 압축 측정 이론에 적용 가능성이 제한되며, Φ가 부분공간에서 아핀일 경우에만 성립함.
• 이 프레임워크는 희소성 초월하여 부분공간의 합집합으로 일반화되어, 낮은 랭크 행렬 및 구조적 희소성과 같은 모델을 포함한다.
• 이론적 결과는 IHT 알고리즘이 야코비안-RIP 조건을 만족할 경우 비선형 환경에서도 선형 경우와 유사한 오차 한계를 유지함을 뒷받침한다.