[논문 리뷰] Structured Local Optima in Sparse Blind Deconvolution

Yuqian Zhang, Han-Wen Kuo외 1명|arXiv (Cornell University)|2018. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 짧은 커널과 희소 활성 신호를 가진 희소 블라인드 디컨volution을 위한 비볼록 최적화 프레임워크를 제안한다. 커널은 단위 구면에 제약을 둔다. 약한 조건—희소도 $\theta \lesssim k^{-2/3}$ 및 $m \gtrsim \operatorname{poly}(k)$—하에, 단순한 초기화와 엄격한 안장점에서 벗어나며 수렴하는 강하 알고리즘을 통해 진정한 커널의 근접 이동 절단값을 복원한다.

ABSTRACT

Blind deconvolution is a ubiquitous problem of recovering two unknown signals from their convolution. Unfortunately, this is an ill-posed problem in general. This paper focuses on the {\em short and sparse} blind deconvolution problem, where the one unknown signal is short and the other one is sparsely and randomly supported. This variant captures the structure of the unknown signals in several important applications. We assume the short signal to have unit $\ell^2$ norm and cast the blind deconvolution problem as a nonconvex optimization problem over the sphere. We demonstrate that (i) in a certain region of the sphere, every local optimum is close to some shift truncation of the ground truth, and (ii) for a generic short signal of length $k$, when the sparsity of activation signal $θ\lesssim k^{-2/3}$ and number of measurements $m\gtrsim poly(k)$, a simple initialization method together with a descent algorithm which escapes strict saddle points recovers a near shift truncation of the ground truth kernel.

연구 동기 및 목표

• 신경 스파이크 정렬 및 현미경과 같은 애플리케이션에서 흔한 짧고 희소인 신호 구조를 활용하여 블라인드 디컨볼루션의 정의되지 않은 성격을 다루기.
• 컨볼루션에 내재된 척도-이동 모호성을 제거하기 위해 문제를 단위 구면 상에서 설정하여 척도 자유도를 제거하기.
• 현실적인 희소도 및 샘플 크기 조건 하에서, 국소 최적해가 진정한 커널의 이동 절단값과 가까운지의 이론적 보장을 수립하기.
• 엄격한 안장점에서 벗어나며 수렴 보장이 있는 알고리즘 프레임워크를 제공하기.

제안 방법

• 커널을 단위 구면 $\mathbb{S}^{k-1}$ 상에서 최적화하는 비볼록 최적화 문제로 블라인드 디컨볼루션을 재구성하며, $-\|\check{\mathbf{y}} \circledast \mathbf{r}_{\mathbf{y}}(\mathbf{q})\|_4^4$ 를 최소화한다.
• 역행 활성 신호 $\mathbf{x}_0$ 를 근사하기 위해 전처리자 $\mathbf{r}_{\mathbf{y}}(\mathbf{q})$ 를 사용한다.
• 커널 $\mathbf{q}$ 가 단위 프로베니우스 노름을 가지도록 제약을 두어 척도-이동 모호성을 해결한다.
• 비볼록 최적화 이론의 도구를 활용하여 엄격한 안장점을 회피하는 강하 알고리즘을 적용한다.
• 모멘트 경계와 행렬 농도 부등식(예: 버닝스타인 유형)을 사용하여 목적 함수 및 그 기울기의 행동을 분석한다.
• 구면의 특정 영역 내 국소 최적해가 진정한 커널 $\mathbf{a}_0$ 의 이동 절단값과 가까운 것으로 규명된다.

실험 결과

연구 질문

• RQ1 희소 블라인드 디컨볼루션의 비볼록 최적화 지형에서 국소 최적해가 진정한 커널의 이동 절단값과 가까운 것으로 보장될 수 있는가?
• RQ2 희소도 $\theta$ 와 샘플 크기 $m$ 에 어떤 조건이 성립할 경우, 단순한 초기화와 강하 방법이 근사 최적해를 복원하는가?
• RQ3 커널에 대한 단위 노름 제약 조건이 최적화 지형의 기하학적 성질에 어떤 영향을 미치는가?
• RQ4 현실적인 신호 모델 하에서, 구조적 국소 최적해의 존재를 엄밀하게 증명할 수 있는가?
• RQ5 높은 확률로 복원을 보장하기 위해 필요한 최소 측정 수 $m$ 는 얼마인가?

주요 결과

• 특정 영역 내 모든 국소 최적해는 진정한 커널 $\mathbf{a}_0$ 의 어떤 이동 절단값과 가까운 편이다.
• 일반적인 길이 $k$ 의 짧은 신호에 대해, 희소도 $\theta \lesssim k^{-2/3}$ 이고 측정 수 $m \gtrsim \operatorname{poly}(k)$ 라면, 알고리즘이 진정한 커널의 근사 이동 절단값을 복원한다.
• 단순한 초기화 방법과 엄격한 안장점을 회피하는 강하 알고리즘의 조합이 근사 최적해를 복원한다.
• 컨볼루션 연산자의 본질적 이동 대칭성 덕분에 최적화 지형은 구조적 국소 최적해를 나타낸다.
• 이론적 보장은 모멘트 경계와 행렬 농도 부등식(예: 랜덤 행렬 및 벡터에 대한 버닝스타인 유형 부등식 포함)을 사용하여 수립된다.
• 복원은 랜덤 및 희소 활성 신호에 대해 강건하며, 신호 구조에 대한 약한 가정 하에 높은 확률로 성립한다.