[논문 리뷰] A Nonconvex Approach for Exact and Efficient Multichannel Sparse Blind Deconvolution

Qing Qu, Xiao Li외 1명|arXiv (Cornell University)|2019. 08. 28.

Sparse and Compressive Sensing Techniques인용 수 21

한 줄 요약

이 논문은 구상에서 비볼록 최적화 접근법을 제안하여 정확하고 효율적인 다채널 희소 복소원소 분해를 수행한다. 무작위 초기화를 사용한 순수 리emannian 경사하강법을 통해 부호 이동 불확실성까지의 컨볼루션 커널과 희소 입력을 동시에 복원한다. 미약한 통계적 가정 하에 이전 방법들에 비해 샘플 복잡도와 계산 효율성이 크게 향상된 증명 가능한 복원 성능을 달성한다.

ABSTRACT

We study the multi-channel sparse blind deconvolution (MCS-BD) problem, whose task is to simultaneously recover a kernel $\mathbf a$ and multiple sparse inputs $\{\mathbf x_i\}_{i=1}^p$ from their circulant convolution $\mathbf y_i = \mathbf a \circledast \mathbf x_i $ ($i=1,\cdots,p$). We formulate the task as a nonconvex optimization problem over the sphere. Under mild statistical assumptions of the data, we prove that the vanilla Riemannian gradient descent (RGD) method, with random initializations, provably recovers both the kernel $\mathbf a$ and the signals $\{\mathbf x_i\}_{i=1}^p$ up to a signed shift ambiguity. In comparison with state-of-the-art results, our work shows significant improvements in terms of sample complexity and computational efficiency. Our theoretical results are corroborated by numerical experiments, which demonstrate superior performance of the proposed approach over the previous methods on both synthetic and real datasets.

연구 동기 및 목표

• 다양한 신호들이 알려지지 않은 커널과 컨볼루션되는 다채널 희소 복소원소 분해(MCS-BD) 문제를 다루기 위해.
• 컨볼루션 커널과 희소 입력을 정확하게 복원하기 위한 증명 가능한 수렴성과 계산 효율성을 갖춘 방법을 개발하기 위해.
• 기존의 볼록 및 비볼록 방법들에 비해 샘플 복잡도를 줄이고 계산 효율성을 향상시키기 위해.
• 미약한 i.i.d. 희소성 가정 하에 구상 위의 순수 리emannian 경사하강법에 대한 이론적 보장을 수립하기 위해.

제안 방법

• 컨볼루션 커널과 희소 신호를 복원하기 위해 단위 구상 위에서 비볼록 최적화 문제로 MCS-BD를 공식화한다.
• 비볼록 문제를 해결하기 위해 구상 위에서 무작위 초기화를 사용한 순수 리emannian 경사하강법(RGD)을 사용한다.
• 최적화의 안정성 향상을 위해 평균 파wer 스펙트럼의 역제곱근을 사용한 전처리 단계를 도입한다.
• RGD 이후 단계에서 단계별 라운딩 절차를 적용하여 해를 정밀화하고 정확한 복원을 달성한다.
• 영상 응용을 위해 2차원 컨볼루션과 DFT 기반 전처리를 통해 프레임워크를 2차원 문제에 적응시킨다.
• 최적화에 ℓ¹, Huber, ℓ⁴ 손실 함수를 사용하고, 구상에 제약된 리emannian 하향도 갱신을 적용한다.

실험 결과

연구 질문

• RQ1 구상 위에서 순수 리emannian 경사하강법이 다채널 복소원소 분해에서 커널과 희소 신호를 증명 가능한 방식으로 복원할 수 있는가?
• RQ2 미약한 i.i.d. 희소성 가정 하에 비볼록 최적화를 사용할 때 정확한 복원을 위해 필요한 샘플 복잡도는 얼마인가?
• RQ3 제안된 방법은 볼록 및 이전의 비볼록 방법들에 비해 샘플 및 시간 복잡도에서 어떻게 비교되는가?
• RQ4 이 방법은 이미지 복원 및 초해상도 현미경과 같은 2차원 영상 문제에서 정확한 복원을 달성할 수 있는가?
• RQ5 제안된 비볼록 공식화 하에서 무작위 초기화만으로도 전역 최적해로 수렴하는가?

주요 결과

• 무작위 초기화를 사용한 순수 리emannian 경사하강법은 미약한 i.i.d. 희소성 가정 하에 부호 이동 불확실성까지의 커널과 희소 입력을 증명 가능한 방식으로 복원한다.
• 샘플 복잡도가 $ p ilde{ ightarrow} ilde{ heta}( ext{max}ig"){n, \frac{\kappa^8}{\mu^2}\big\} n^4 $ 로, 이는 이전의 볼록 및 비볼록 방법들에 비해 크게 향상된 성능을 보인다.
• 계산 시간 복잡도는 $ \tilde{\mathcal{O}}(pn^5 + pn\log(1/\varepsilon)) $ 로, 이는 이전 연구에서의 $ \tilde{\mathcal{O}}(pn^{13}/\varepsilon^8) $ 보다 상당히 낮다.
• 합성 및 실재 데이터셋에 대한 수치 실험 결과, 최신 기술 대비 복원 정확도와 수렴 속도에서 뛰어난 성능을 보였다.
• 적절한 전처리 및 다양체 최적화를 거친 후, 영상 복원 및 초해상도 현미경 응용 분야에서 이 방법은 효과적으로 기능한다.
• 이론적 보장은 커널이 날카로운 피크를 가지지 않더라도 유지되며, 이는 이전 볼록 접근법에서의 제한적인 가정을 완화한다.