[논문 리뷰] Regularized Gradient Descent: A Nonconvex Recipe for Fast Joint Blind Deconvolution and Demixing

Shuyang Ling, Thomas Strohmer|arXiv (Cornell University)|2017. 03. 25.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 9

한 줄 요약

이 논문은 초합성 컨volution으로부터 다수의 신호 쌍을 신속하고 증명 가능하게 복원하기 위한 비볼록 Regularized Gradient Descent 알고리즘을 제안한다. 이 알고리즘은 노이즈에 강건하며 전역 최소값으로 선형 수렴을 달성한다. 볼록 방법에 비해 계산적으로 효율적인 대안을 제공하면서도, 경쟁 가능한 조건 하에서 강력한 이론적 보장을 유지한다.

ABSTRACT

We study the question of extracting a sequence of functions $\{\boldsymbol{f}_i, \boldsymbol{g}_i\}_{i=1}^s$ from observing only the sum of their convolutions, i.e., from $\boldsymbol{y} = \sum_{i=1}^s \boldsymbol{f}_i\ast \boldsymbol{g}_i$. While convex optimization techniques are able to solve this joint blind deconvolution-demixing problem provably and robustly under certain conditions, for medium-size or large-size problems we need computationally faster methods without sacrificing the benefits of mathematical rigor that come with convex methods. In this paper, we present a non-convex algorithm which guarantees exact recovery under conditions that are competitive with convex optimization methods, with the additional advantage of being computationally much more efficient. Our two-step algorithm converges to the global minimum linearly and is also robust in the presence of additive noise. While the derived performance bounds are suboptimal in terms of the information-theoretic limit, numerical simulations show remarkable performance even if the number of measurements is close to the number of degrees of freedom. We discuss an application of the proposed framework in wireless communications in connection with the Internet-of-Things.

연구 동기 및 목표

• 관측된 신호가 초합성 컨벌루션으로만 제공되는 다중 사용자 무선 통신 시스템에서 동시 블라인드 디컨볼루션 및 디믹싱 문제를 해결한다.
• 중간에서 대규모 문제에 대해 볼록 최적화의 계산 효율성 높은 대안을 개발하면서도 이론적 보장을 유지한다.
• 최소한의 측정값으로도 다수의 신호-채널 쌍을 정확히 복원할 수 있도록 한다. 특히 측정값 수가 정보 이론적 한계에 가까울 때도 가능하다.
• 가우시안 노이즈에 강건하며, 인터넷 오브 things(IoT)와 같은 실세계 응용 분야에 적용 가능하도록 보장한다.

제안 방법

• 컨볼루션된 신호 쌍을 나타내는 저랭크 행렬 구조를 기반으로 하여 동시 블라인드 디컨볼루션-디믹싱 문제를 비볼록 최적화 문제로 재구성한다.
• 필터 및 신호 성분의 추정치를 번갈아가며 정규화된 기울기 하강법을 사용해 갱신하는 두 단계 알고리즘을 제안한다.
• 최적화의 안정성과 유리한 조건 하에서 정확한 복원을 촉진하기 위해 정규화 항을 도입한다.
• 문제의 비볼록 구조를 다루기 위해 복소수 기울기 하강법과 복소수 헤시안, 복소수 켤레 기울기 갱신을 활용한다.
• 집중 부등식과 행렬 범수 한계를 사용하여 랜덤 측정 모델 하에서 이론적 수렴성과 안정성을 확립한다.
• 내림샘 부등식과 행렬 집중 도구(예: ψ₁-노름 및 분산 파라미터 한계)를 적용하여 오차 전파를 통제하고 선형 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 방법이 증명 가능 보장을 갖는 동시에 계산 효율성까지 확보한 채 동시 블라인드 디컨볼루션-디믹싱에서 정확한 복원을 달성할 수 있는가?
• RQ2 샘플 복잡도와 노이즈에 대한 강건성 측면에서 제안된 비볼록 방법이 볼록 방법보다 어떻게 성능을 냈는가?
• RQ3 측정값 수와 신호 구조에 어떤 조건이 성립해야 선형 수렴과 전역 복원이 보장되는가?
• RQ4 정보 이론적 한계에 근접하는 근접 최소 측정값 수를 얼마나 잘 처리할 수 있는가?
• RQ5 IoT 기반 다중 사용자 무선 통신과 같은 실세계 응용에서 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 Regularized Gradient Descent 알고리즘은 볼록 방법과 경쟁 가능한 조건 하에서 전역 최소값으로 선형 수렴을 달성한다.
• 측정값 수가 자유도에 비해 충분히 많을 경우, 가우시안 노이즈가 존재하더라도 정확한 복원이 이론적으로 보장된다.
• 수치 실험 결과는 측정값 수가 자유도 수준에 가까워도 강력한 경험적 성능을 보이며, 거의 최적의 샘플 효율성을 나타낸다.
• 노이즈에 강건하며, 오차 전파에 대한 이론적 한계는 행렬 집중 및 내림샘 부등식 기법을 통해 유도되었다.
• 계산 속도 측면에서 볼록 접근법을 능가하면서도 엄격한 이론적 복원 보장을 유지한다.
• 이론적 분석을 통해 초기화 및 신호 구조에 대한 온건한 가정 하에서 전역 수렴이 확인되었으며, 오차 한계는 신호 대 노이즈 비율과 문제 차원에 따라 스케일링된다.