[논문 리뷰] The basins of attraction of the global minimizers of non-convex inverse problems with low-dimensional models in infinite dimension

Traonmilin, Yann, Jean-Francois Aujol외 1명|arXiv (Cornell University)|2020. 09. 18.

Seismic Imaging and Inversion Techniques참고 문헌 74인용 수 16

한 줄 요약

이 논문은 무한차원 공간 내에서 저차원 모델을 가진 비볼록 역문제에 대한 이론적 프레임워크를 수립하며, 전역 최소화점의 체류 영역 크기가 측정 수와 비례함을 보여준다. 제약 조건을 만족하는 제약 조건 하에서 저질서 행렬 추정, 옹근 스팘이 복원, 가우시안 혼합 추정을 통합하는 데 성공한다.

ABSTRACT

Non-convex methods for linear inverse problems with low-dimensional models have emerged as an alternative to convex techniques. We propose a theoretical framework where both finite dimensional and infinite dimensional linear inverse problems can be studied. We show how the size of the the basins of attraction of the minimizers of such problems is linked with the number of available measurements. This framework recovers known results about low-rank matrix estimation and off-the-grid sparse spike estimation, and it provides new results for Gaussian mixture estimation from linear measurements. keywords: low-dimensional models, non-convex methods, low-rank matrix recovery, off-the-grid sparse recovery, Gaussian mixture model estimation from linear measurements.

연구 동기 및 목표

• 무한차원 공간 내에서 저차원 모델을 가진 비볼록 역문제를 분석하기 위한 통합 이론적 프레임워크를 개발하는 것.
• 측정 수가 전역 최소화점의 체류 영역 크기에 미치는 영향을 이해하는 것.
• 유한차원 사례(예: 저질서, 희소성)의 복원 보장을 무한차원 모델(예: 측도, 분포)으로 확장하는 것.
• 약한-* 위상 하에서 매개변수 공간에서의 경사하강법 사용의 정당화.
• 선형 측정에서의 가우시안 혼합 모델 추정을 위한 새로운 이론적 결과 제공.

제안 방법

• 측정 연산자 A를 이중 공간 D*에서 C^m로 매핑하는 약한-* 연속성 측정 연산자로 역문제를 수식화한다.
• 저차원 신호 집합 Σ를 원으로 모델링하고, 매끄러운 사상 φ: R^d → D*를 통해 매개변수화한다.
• 매개변수 공간 θ∈R^d에서의 경사하강법을 사용해 비볼록 최적화 문제 min_{x∈Σ} ||Ax−y||²₂ 를 분석한다.
• 섹턴트 집합 Σ−Σ에 대한 제약 조건을 만족하는 제약 조건(제한 이sovolumetric 성질, RIP) 하에서 복원 보장을 수립한다.
• 매개변수 공간에서 목적 함수의 헤시안과 곡률을 분석하여 체류 영역의 크기를 추정하는 경계를 유도한다.
• 프레임워크를 저질서 행렬 복원, 옹근 스파이크 희소 추정, 가우시안 혼합 모델 추정의 세 가지 핵심 문제에 적용한다.

실험 결과

연구 질문

• RQ1 측정 수가 비볼록 역문제에서 전역 최소화점의 체류 영역 크기에 어떤 영향을 미치는가?
• RQ2 유한차원과 무한차원 설정에서 비볼록 복원을 분석하기 위한 통합 이론적 프레임워크를 개발할 수 있는가?
• RQ3 매개변수 공간에서의 경사하강법이 저차원 모델의 전역 최소화점으로 수렴하기 위한 조건은 무엇인가?
• RQ4 목적 함수의 곡률과 헤시안이 체류 영역 기하학에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 저질서 및 옹근 스파이크 복원의 기존 결과를 회복할 수 있을 뿐 아니라 가우시안 혼합과 같은 새로운 모델로 확장할 수 있는가?

주요 결과

• 전역 최소화점의 체류 영역 크기가 측정 수와 함께 증가하여, 경사하강법의 안정성이 향상됨을 확인하였다.
• 통합된 RIP 기반 분석을 통해 저질서 행렬 추정 및 옹근 스파이크 추정에 대한 기존 복원 보장을 회복하였다.
• 가우시안 혼합 모델 추정의 경우, 동일한 매개변수화 경사하강 프레임워크를 사용해 체류 영역에 대한 새로운 이론적 경계를 제시하였다.
• 매개변수화된 목적 함수의 헤시안이 진짜 해 주변의 이웃에서 0으로부터 분리되어 있음을 입증하여 국소 수렴을 보장하였다.
• 충분한 측정 수가 확보될 경우, 매개변수 공간에서의 경사하강법이 안정적인 복원을 달성할 수 있음을 분석으로 확인하였다.
• 목적 함수의 기울기 노름에 하한을 도출하여, 적절한 측정 조건 하에서 전역 최소화점이 고립되어 있고 체류 영역에 끌려오는 것을 증명하였다.