[논문 리뷰] The nonsmooth landscape of blind deconvolution

Mateo Díaz|arXiv (Cornell University)|2019. 11. 19.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 망각된 복소화 문제의 비볼록 공식화에서의 비연속 경계를 분석하여, 측정 수가 증가함에 따라 잡음이 있는 임계점들이 비차원 수가 2인 부분공간 근처에 집중됨을 보여준다. 저자들은 표준 통계적 가정 하에 가우시안 측정값을 갖는 경우, 무작위 초기화된 하향 기울기 방법이 명시적인 초기화 없이도 유리한 기하학적 성질 덕분에 실제로 성공함을 입증한다.

ABSTRACT

The blind deconvolution problem aims to recover a rank-one matrix from a set of rank-one linear measurements. Recently, Charisopulos et al. introduced a nonconvex nonsmooth formulation that can be used, in combination with an initialization procedure, to provably solve this problem under standard statistical assumptions. In practice, however, initialization is unnecessary. As we demonstrate numerically, a randomly initialized subgradient method consistently solves the problem. In pursuit of a better understanding of this phenomenon, we study the random landscape of this formulation. We characterize in closed form the landscape of the population objective and describe the approximate location of the stationary points of the sample objective. In particular, we show that the set of spurious critical points lies close to a codimension two subspace. In doing this, we develop tools for studying the landscape of a broader family of singular value functions, these results may be of independent interest.

연구 동기 및 목표

• 비볼록이고 비연속적인 문제임에도 불구하고 무작위 초기화된 하향 기울기 방법이 망각된 복소화 문제를 해결하는 데 성공하는 이유를 이해하는 것.
• 고차원에서 샘플 목표 함수의 정류점 기하학을 특성화하는 것.
• 독립 동일분포 가우시안 측정값 하에서 인구 목표 함수의 경계를 분석하고, 이가 비차원 수가 2인 부분공간으로 수렴함을 보이는 것.
• 비연속 비볼록 최적화에 적용 가능한, 특이값 함수 분석을 위한 도구를 개발하는 것.
• 손실 경계의 기하학적 분석을 통해 망각된 복소화 문제에서 초기화 없이도 성공하는 하향 기울기 방법의 경험적 성공을 설명하는 것.

제안 방법

• 저자들은 측정값의 절대 오차 기댓값으로 정의된 인구 목표 함수를 분석하며, 이는 알려지지 않은 랭크-일치 행렬의 특이벡터에만 의존한다.
• 인구 목표 함수의 하향도의 닫힌 형태 표현식을 유도하고, 그 임계점을 특성화한다.
• 측정의 집중성 도구를 사용하여, 측정 수가 증가함에 따라 샘플 목표 함수의 하향도가 높은 확률로 인구 하향도 근처에 집중됨을 보인다.
• 잡음이 있는 임계점의 집합이 제어 가능한 속도로 비차원 수가 2인 부분공간으로 수렴함을 증명하며, 이는 최적화에 유리한 기하학적 영역이 광범위하다는 것을 의미한다.
• 손실 함수의 비연속성을 다루기 위해 랜덤 행렬 이론과 특이값 함수 분석 도구를 활용한다.
• 약한 날카움과 하향도 집중 결과를 결합하여, 임의의 점에서 진짜 해 집합까지의 거리를 유계로 제한한다.

실험 결과

연구 질문

• RQ1 비볼록이고 비연속적인 문제임에도 불구하고 무작위 초기화된 하향 기울기 방법이 망각된 복소화 문제를 일관되게 해결하는 이유는 무엇인가?
• RQ2 고차원 망각된 복소화 문제에서 샘플 목표 함수의 정류점 기하학적 구조는 어떻게 되는가?
• RQ3 측정 수가 증가함에 따라 인구 목표 함수의 경계는 샘플 경계와 어떻게 관련이 있는가?
• RQ4 잡음이 있는 임계점은 어느 정도까지 낮은 차원의 부분공간 근처에 위치하며, 이는 최적화에 어떤 영향을 미치는가?
• RQ5 특이값 함수 분석을 위한 도구는 비연속 비볼록 최적화 문제로 일반화될 수 있는가?

주요 결과

• 샘플 목표 함수의 잡음이 있는 임계점 집합은 측정 수가 증가함에 따라 비차원 수가 2인 부분공간으로 수렴한다.
• 이 수렴은 제어 가능한 속도로 일어나며, 이는 매개변수 공간의 대부분이 최적화에 유리한 기하학적 성질을 지닌다는 것을 의미한다.
• 인구 목표 함수의 경계는 해석적으로 특성화되었으며, 그 임계점들이 비차원 수가 2인 부분공간 위에 있음이 입증되었다.
• 측정 수가 차원의 합에 비례하는 임계값을 초과하면, 샘플 목표 함수의 하향도가 높은 확률로 인구 하향도 근처에 집중된다.
• 분석은 초기화 없이도 성공하는 하향 기울기 방법의 경험적 성공을 설명한다: 유리한 기하학적 성질은 잡음이 있는 국소 최소값에 갇힐 가능성을 낮춘다.
• 결과는 비연속 비볼록 망각된 복소화 문제에서 무작위 초기화의 강건성에 대한 이론적 기반을 제공한다.