[논문 리뷰] Support Localization and the Fisher Metric for off-the-grid Sparse Regularization

Clarice Poon, Nicolas Keriven외 1명|arXiv (Cornell University)|2018. 10. 08.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 6

한 줄 요약

이 논문은 오프-그리드 스퍼스 정규화에서 지지 집합 국소화를 위한 자연스러운 기하학적 프레임워크로 피셔-레이어 거리(Fisher-Rao distance)를 도입한다. 특히 BLASSO (Beurling-Lasso) 문제에 적용하여, 약간의 정규성 조건과 곡률 조건 하에서 임의의 부분 샘플링 관측 조건 하에서도 안정적인 지지 집합 복원을 증명한다. 이는 라플라스 변환 역행 문제와 같이 이동 변형이 발생하는 문제에 대해 기하학적으로 인지된 복원 보장을 제공하는 최초의 결과이다.

ABSTRACT

Sparse regularization is a central technique for both machine learning (to achieve supervised features selection or unsupervised mixture learning) and imaging sciences (to achieve super-resolution). Existing performance guaranties assume a separation of the spikes based on an ad-hoc (usually Euclidean) minimum distance condition, which ignores the geometry of the problem. In this article, we study the BLASSO (i.e. the off-the-grid version of $\ell^1$ LASSO regularization) and show that the Fisher-Rao distance is the natural way to ensure and quantify support recovery, since it preserves the invariance of the problem under reparameterization. We prove that under mild regularity and curvature conditions, stable support identification is achieved even in the presence of randomized sub-sampled observations (which is the case in compressed sensing or learning scenario). On deconvolution problems, which are translation invariant, this generalizes to the multi-dimensional setting existing results of the literature. For more complex translation-varying problems, such as Laplace transform inversion, this gives the first geometry-aware guarantees for sparse recovery.

연구 동기 및 목표

• 기하학적 구조를 忽略하는 수단적인 유클리드 거리 조건에 의존하는 기존 스퍼스 정규화 보장의 한계를 해결한다.
• 오프-그리드 압축 측정 및 관련 문제에서 지지 집합 복원을 위한 기하학적으로 불변인 프레임워크를 제공한다.
• 임의의 부분 샘플링 관측 조건 하에서도 BLASSO의 안정적인 지지 집합 식별을 확립한다. 이는 이동 변형이 발생하는 설정에서도 유효하다.
• 기존 초해상도 결과를 다차원 디컨볼루션으로 일반화하고, 라플라스 변환 역행과 같은 새로운 문제로 확장한다.
• 피셔-레이어 거리가 재매개변수화에 대해 불변성을 유지하므로, 스퍼스 측도 복원에 있어 자연스러운 거리로 간주된다.

제안 방법

• 랜덤 선형 관측으로부터 스퍼스 라돈 측도를 추정하는 무한차원 라소 문제로 BLASSO를 공식화한다.
• 매개변수의 다양체 위에서 내재된 리만 기하학적 거리로 피셔-레이어 거리를 사용하여 재매개변수화에 대한 불변성을 확보한다.
• 지지 집합 복원의 국소적 안정성을 보장하기 위해 측정 커널에 대해 약간의 정규성 조건과 곡률 조건을 도입한다.
• 농도 불확실성과 관측 모델의 일관성에 대한 경계를 도출하기 위해 랜덤 매트릭스 도구(예: 라데마처 카오스)를 적용한다.
• 가우시안 및 라데마처 카오스에 대한 블록 매트릭스 노름과 尾확률 부등식을 사용하여 복원 오차의 확률적 경계를 유도한다.
• 피셔-레이어 거리가 피크들 사이의 거리가 노이즈 및 곡률에 의해 결정되는 임계값을 초과할 경우 안정적인 지지 집합 식별이 발생한다.

실험 결과

연구 질문

• RQ1 피셔-레이어 거리는 오프-그리드 스퍼스 정규화에서 지지 집합 국소화를 위한 자연스럽고 불변인 거리로 기능할 수 있는가?
• RQ2 임의의 부분 샘플링 관측 조건 하에서 BLASSO의 안정적인 지지 집합 복원이 보장되는 기하학적 및 통계적 조건은 무엇인가?
• RQ3 초해상도 및 디컨볼루션 문제에서 유클리드 거리 기반 분리 조건에 비해 피셔-레이어 거리 메트릭은 어떻게 향상되는가?
• RQ4 제안된 프레임워크는 이동 변형이 발생하는 문제(예: 라플라스 변환 역행)에 대해 기하학적으로 인지된 복원 보장을 제공하는 최초의 사례가 될 수 있는가?
• RQ5 노이즈가 있고 부분 샘플링된 관측 조건 하에서 스퍼스 측도의 안정적 복원을 보장하기 위해 곡률은 어떤 역할을 하는가?

주요 결과

• 피셔-레이어 거리는 재매개변수화에 대해 불변성을 유지하고 문제의 내재 기하학을 반영하므로, 지지 집합 복원에 있어 자연스러운 거리로 입증된다.
• 약간의 정규성 조건과 곡률 조건 하에서도 임의의 부분 샘플링 관측 조건 하에서 안정적인 지지 집합 식별이 달성되며, 이는 압축 측정 및 학습 시나리오에 관련이 있다.
• 이동 불변 문제(예: 디컨볼루션)의 경우, 이 프레임워크는 기존 1차원 초해상도 결과를 다차원 설정으로 일반화한다.
• 이 논문은 기존 방법이 실패하는 라플라스 변환 역행과 같이 이동 변형이 발생하는 문제에 대해 기하학적으로 인지된 복원 보장을 최초로 제공한다.
• 라데마처 카오스와 매트릭스 농도 도구를 사용하여 복원 오차의 확률적 경계를 도출하였으며, 노이즈 및 샘플링 조건이 적절할 경우 높은 확률로 복원이 안정적임을 보였다.
• 피셔-레이어 거리가 피크들 사이의 거리가 노이즈 수준과 측정 커널의 곡률에 비례하는 임계값을 초과할 경우, BLASSO 해는 진짜 스퍼스 측도의 지지 집합을 성공적으로 국소화한다.