[논문 리뷰] Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently

Laixi Shi, Yuejie Chi|arXiv (Cornell University)|2019. 11. 25.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 4

한 줄 요약

이 논문은 구면 다양체 위에서 흩어짐을 장려하는 손실 함수의 매끄러운 대체 함수를 최적화하여 다중채널 희소 복소분해(MSBD)를 증명 가능하고 효율적으로 해결하는 다양체 경사하강법(MGD) 알고리즘을 제안한다. 무작위 데이터 모델 하에서 관측 수가 충분히 많을 경우, 무작위 초기화를 사용한 MGD가 알려지지 않은 필터를 스케일링 및 이동 불확실성까지 고려해 높은 확률로 복원함을 입증한다.

ABSTRACT

Multi-channel sparse blind deconvolution, or convolutional sparse coding, refers to the problem of learning an unknown filter by observing its circulant convolutions with multiple input signals that are sparse. This problem finds numerous applications in signal processing, computer vision, and inverse problems. However, it is challenging to learn the filter efficiently due to the bilinear structure of the observations with the respect to the unknown filter and inputs, as well as the sparsity constraint. In this paper, we propose a novel approach based on nonconvex optimization over the sphere manifold by minimizing a smooth surrogate of the sparsity-promoting loss function. It is demonstrated that manifold gradient descent with random initializations will provably recover the filter, up to scaling and shift ambiguity, as soon as the number of observations is sufficiently large under an appropriate random data model. Numerical experiments are provided to illustrate the performance of the proposed method with comparisons to existing ones.

연구 동기 및 목표

• 다중 복소분해의 이차형식과 희소성 제약 조건을 가진 빌리너 구조를 가진 다수의 컨볼루션으로부터 알려지지 않은 필터와 희소 입력을 효율적으로 복원하는 문제에 대응한다.
• 스케일링 및 이동 불확실성까지 고려해 필터를 증명 가능하게 복원하는 비볼록 최적화 프레임워크를 개발한다.
• 무작위 데이터 모델 하에서 구면 다각형 위의 다양체 경사하강법의 수렴 보장을 확립한다.
• 기존의 비볼록 또는 볼록 접근 방식에 비해 매끄럽고 계산적으로 효율적인 MSBD 대체 방법을 제공한다.

제안 방법

• MSBD 문제를 구면 다각형 위에서 흩어짐을 장려하는 손실 함수의 매끄러운 대체 함수를 최소화하는 것으로 공식화한다.
• 다양체 경사하강법(MGD)을 사용하여 구면 다각형 위에서 최적화를 수행하며, 역필터 성질을 활용해 이차형식을 피한다.
• 쌍곡선 tangent 함수를 통한 $–\ell_0$ 노름의 매끄러운 근사화를 사용하여 미분 가능성과 효율적인 최적화를 가능하게 한다.
• 식별성 확보를 위해 필터에 역전 가능 조건을 부여하고, 역필터링을 통해 이차형 문제를 선형 문제로 변환한다.
• 실제 손실 함수의 기하학적 성질을 분석하고, 적절한 조건 하에서 참값 주변에서 국소 강력한 볼록성을 입증한다.
• 고차원 설정에서 기울기 및 헤시안 항의 행동을 제어하기 위해 농도 불등식과 moments 유계를 사용한다.

실험 결과

연구 질문

• RQ1 무작위 초기화를 사용한 다양체 경사하강법이 다중채널 희소 복소분해에서 알려지지 않은 필터를 증명 가능하게 복원할 수 있는가?
• RQ2 무작위 데이터 모델 하에서 성공적인 복원을 위해 필요한 최소 관측 수는 얼마인가?
• RQ3 비볼록성에도 불구하고 구면 다각형 위의 매끄러운 대체 손실 함수는 어떻게 참값 해로의 수렴을 보장하는가?
• RQ4 MGD의 수렴 속도와 강건성에 대한 이론적 보장은 무엇인가?

주요 결과

• 무작위 초기화를 사용한 다양체 경사하강법은 관측 수 $p$가 충분히 클 경우 알려지지 않은 필터를 스케일링 및 이동 불확실성까지 고려해 높은 확률로 증명 가능하게 복원한다.
• 무작위 데이터 모델 하에서 $p = O(n \log n)$ 관측 수로도 복원이 가능하며, 이는 정보 이론적 한계에 로그 인자까지 일치한다.
• 이론적 분석을 통해 실측 손실 함수가 참값 주변에서 국소 강력한 볼록성을 보임을 입증하여 빠른 수렴이 가능함을 보였다.
• 수치 실험을 통해 MGD가 합성 데이터 및 이미지 흐림 제거 작업에서 기존 방법보다 수렴 속도와 복원 정확도에서 뛰어남을 입증하였다.
• 쌍곡선 tangent 함수를 통한 매끄러운 대체 손실 함수는 정확한 희소성 강제 조건 없이도 효율적이고 안정적인 최적화를 가능하게 한다.