[논문 리뷰] The geometry of off-the-grid compressed sensing

Clarice Poon, Nicolas Keriven외 1명|arXiv (Cornell University)|2018. 02. 23.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 5

한 줄 요약

이 논문은 비이동성 측정 연산자를 포함한 비이동성 측정 연산자에서도 BLASSO를 통한 안정적 복원을 가능하게 하는, 슈퍼레졸루션 성능을 위한 캐논컬 메트릭으로 피셔 기하 거리(Fisher geodesic distance)를 사용하는 기하학적 프레임워크를 제안한다. 이는 이격된 디랙 스파이크 간의 안정적 복원이 가능함을 보여주며, 샘플 복잡도는 스파이크 수에 로그 인수까지 비례함을 증명한다.

ABSTRACT

This paper presents a sharp geometric analysis of the recovery performance of sparse regularization. More specifically, we analyze the BLASSO method which estimates a sparse measure (sum of Dirac masses) from randomized sub-sampled measurements. This is a "continuous", often called off-the-grid, extension of the compressed sensing problem, where the $\\ell^1$ norm is replaced by the total variation of measures. This extension is appealing from a numerical perspective because it avoids to discretize the the space by some grid. But more importantly, it makes explicit the geometry of the problem since the positions of the Diracs can now freely move over the parameter space. On a methodological level, our contribution is to propose the Fisher geodesic distance on this parameter space as the canonical metric to analyze super-resolution in a way which is invariant to reparameterization of this space. Switching to the Fisher metric allows us to take into account measurement operators which are not translation invariant, which is crucial for applications such as Laplace inversion in imaging, Gaussian mixtures estimation and training of multilayer perceptrons with one hidden layer. On a theoretical level, our main contribution shows that if the Fisher distance between spikes is larger than a Rayleigh separation constant, then the BLASSO recovers in a stable way a stream of Diracs, provided that the number of measurements is proportional (up to log factors) to the number of Diracs. We measure the stability using an optimal transport distance constructed on top of the Fisher geodesic distance. Our result is (up to log factor) sharp and does not require any randomness assumption on the amplitudes of the underlying measure. Our proof technique relies on an infinite-dimensional extension of the so-called "golfing scheme" which operates over the space of measures and is of general interest.

연구 동기 및 목표

• 매개변수 공간의 재매개변수화에 대해 불변인 비그리드 압축 측정에서 희박 측정 복원을 분석하기 위한 기하학적 프레임워크를 개발하는 것.
• 초해상도에서 유클리드 거리 척도의 한계를 해결하기 위해, 스파이크 간의 분리도를 측정하기 위한 캐논컬 메트릭으로 피셔 기하 거리를 도입하는 것.
• 일반적인 측정 연산자, 특히 라플라스 역행과 신경망 학습에서 나타나는 비이동성 측정 연산자를 포함한 상황에서 BLASSO 방법의 날카운 복원 조건을 확립하는 것.
• 암시적 랜덤성 가정 없이도, 피셔 기하 거리 기반 최적 운반 거리에 기반한 안정적 복원을 위한 이론적 보장을 제공하는 것.
• 무한차원 측정 공간으로의 골핑 스킴(golfing scheme) 확장을 통해 연속 압축 측정에서 복원 분석을 위한 새로운 증명 기법을 가능하게 하는 것.

제안 방법

• 디랙 스파이크 간의 기하학적 분리도를 정의하기 위해, 측정 공간 상에서 캐논컬 리만 메트릭으로서 피셔 기하 거리를 제안한다.
• 연속적인 희박 복원을 위해 데이터 적합성과 측정의 총변동도를 조합한 티코노프 유사 기능을 최소화하는 BLASSO 설정을 사용한다.
• 무한차원 공간으로의 골핑 스킴 확장을 적용하여, 희박 측정의 안정적 복원을 증명하는 이중 증명을 구성한다.
• 피셔 기하 거리 기반 최적 운반 거리를 활용하여 복원의 안정성을 정량화하고, 재매개변수화에 대해 불변성을 확보한다.
• 미세 격자에서 베르누이-빈스터 불등식을 사용한 농도 경계를 유도하고, 구성된 증명 함수의 리프시츠 연속성에 의해 이를 전역적으로 확장한다.
• 스파이크 위치로부터 먼 영역과 가까운 영역에서의 점별 제약과 헤시안 제약을 만족하는 증명 함수를 통해 복원을 확립한다.

실험 결과

연구 질문

• RQ1 기하학적이고 매개변수화에 불변인 척도는 비그리드 압축 측정에서 초해상도 분석을 향상시킬 수 있는가?
• RQ2 BLASSO를 사용한 희박 측정 복원의 안정성 확보를 위해 필요한 스파이크 간 최소 거리는 무엇이며, 이는 측정 연산자에 어떻게 의존하는가?
• RQ3 골핑 스킴은 무한차원 측정 공간으로 확장되어 연속 압축 측정에서 복원 보장을 증명하는 데 사용될 수 있는가?
• RQ4 비이동성 측정 커널 하에서, 피셔 기하 거리는 유클리드 거리에 비해 스파이크 분리의 내재 기하학을 얼마나 더 잘 포착하는가?
• RQ5 BLASSO를 사용한 s-희박 측정의 안정적 복원에 대해 최적의 샘플 복잡도는 무엇이며, 이는 진폭의 랜덤성에 의존하는가?

주요 결과

• 모든 스파이크 위치 간의 피셔 기하 거리가 레일리 유사 분리 상수를 초과할 경우, BLASSO를 통한 s-희박 측정의 안정적 복원이 보장된다.
• 필요한 측정 수는 로그 인수까지 비례하여 O(s log s)로 증가하며, 이는 거의 최적이며 진폭의 랜덤성과 무관하다.
• 피셔 기하 거리는 라플라스 역행과 가우시안 혼합 추정에서 발생하는 비이동성 측정 연산자에 대한 복원 분석을 가능하게 한다.
• 무한차원 골핑 스킴을 통해 구성된 이중 증명은 BLASSO 해가 최적 운반 거리 기반 오차 범위 내에서 진짜 측정을 복원함을 보장한다.
• 이 방법은 매개변수 공간의 재매개변수화에 대해 불변성을 확보하여, 영상 및 머신러닝 응용 분야에서 강건하고 기하학적으로 타당한 성능을 제공한다.
• 이론적 프레임워크는 복소수 측정에도 적용 가능하며, 정규화된 커널을 가진 일반적인 측정 연산자도 지원하여, 전통적인 압축 측정을 넘어서 광범위한 적용 가능성을 넓힌다.