[논문 리뷰] Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution

Yuxin Chen, Jianqing Fan외 2명|arXiv (Cornell University)|2020. 08. 04.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 부분공간 모델 하에서 노이즈가 있는 블라인드 디컨volution에서 볼록 리 릴랙션과 이중단계 비볼록 알고리즘 양측이 최소최대 최적의 통계적 정확도를 달성함을 규명한다. 볼록 리 릴랙션의 최소최대 최적성과 비볼록 방법이 로그 시간 이터레이션 내에서 이 최적 정확도에 수렴함을 증명함으로써, 차원에 대해 다항수준으로 이전 결과를 향상시킨다.

ABSTRACT

We investigate the effectiveness of convex relaxation and nonconvex optimization in solving bilinear systems of equations (a.k.a. blind deconvolution under a subspace model). Despite the wide applicability, the theoretical understanding about these two paradigms remains largely inadequate in the presence of noise. The current paper makes two contributions by demonstrating that: (1) convex relaxation achieves minimax-optimal statistical accuracy vis-\`a-vis random noise, and (2) a two-stage nonconvex algorithm attains minimax-optimal accuracy within a logarithmic number of iterations. Both results improve upon the state-of-the-art results by some factors that scale polynomially in the problem dimension.

연구 동기 및 목표

• 노이즈 하에서 이차형 시스템에 대한 볼록 리 릴랙션과 비볼록 최적화의 이론적 이해 격차를 해소하기 위해.
• 랜덤 노이즈 존재 하에서 볼록 리 릴랙션의 최소최대 최적성 확립하기 위해.
• 블라인드 디컨볼루션을 위한 이중단계 비볼록 알고리즘의 수렴성과 통계적 정확도 분석하기 위해.
• 문제 차원에 대해 다항수준으로 최신 기술을 향상시키기 위해.

제안 방법

• 논문은 블라인드 디컨볼루션 문제의 정수형 프로그래밍 공식화를 통해 볼록 리 릴랙션을 분석한다.
• 랜덤 노이즈 하에서 볼록 리 릴랙션 방법의 통계적 오차 한계를 유도하여 최소최대 최적성을 증명한다.
• 스펙트럼 초기화를 먼저 사용하고, 이후 리만 기반 최적화 기법을 적용하는 이중단계 비볼록 알고리즘을 제안한다.
• 비볼록 방법이 문제 차원 n에 대해 O(log n) 이터레이션 내에서 최소최대 최적 오차율에 수렴함을 보였다.
• 이론적 분석은 추정 오차를 유계로 만드는 데 농도 부등식과 랜덤 행렬 이론을 활용한다.
• 동일한 노이즈 모델과 부분공간 가정 하에서 두 접근법을 비교하여 통계적 효율성의 동등성을 확립한다.

실험 결과

연구 질문

• RQ1 볼록 리 릴랙션은 노이즈가 있는 블라인드 디컨볼루션에서 최소최대 최적의 통계적 정확도를 달성하는가?
• RQ2 비볼록 최적화 접근법은 효율적인 수렴성으로 최소최대 최적 오차율을 달성할 수 있는가?
• RQ3 고차원 노이즈가 있는 설정에서 볼록 및 비볼록 방법의 수렴 속도는 어떻게 비교되는가?
• RQ4 부분공간과 랜덤 노이즈 가정 하에서 블라인드 디컨볼루션의 기본 통계적 한계는 무엇인가?
• RQ5 기존 최신 기술 대비 수렴 속도나 오차 한계에서 다항수준의 개선이 존재하는가?

주요 결과

• 볼록 리 릴랙션은 노이즈가 있는 블라인드 디컨볼루션에서 최소최대 최적의 통계적 정확도를 달성하며, 추정 오차의 기본 하한과 일치한다.
• 이중단계 비볼록 알고리즘은 문제 차원 n에 대해 O(log n) 이터레이션 내에서 최소최대 최적성을 확보한다.
• 비볼록 방법의 수렴 속도는 차원에 대해 로그 수준이며, 이는 이전의 다항시간 방법에 비해 크게 향상되었다.
• 볼록 및 비볼록 접근법 모두 노이즈 수준과 문제 차원에 따라 최적의 비율로 오차율이 스케일링된다.
• 최신 기술 대비 개선 폭은 문제 차원에 대해 다항수준으로 스케일링되며, 이론적 성과를 확인한다.