[논문 리뷰] Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery

Richard Y. Zhang, Somayeh Sojoudi외 1명|arXiv (Cornell University)|2019. 01. 06.

Sparse and Compressive Sensing Techniques인용 수 30

한 줄 요약

이 논문은 비볼록 행렬 복원 문제에 대해 날카로운 제한된 이성성 성질(RIP) 경계를 확립하며, 랭크-1 행렬의 경우 δ < 1/2 이면 허위 국소 최솟값이 존재하지 않도록 보장하기 위해 필수적이고도 충분한 조건임을 증명한다. 저자들은 반대가능한 가정을 부정하는 새로운 증명 기법을 도입하여 날카로운 임계값을 유도하며, δ < 1/2 이면 어떤 초기점에서든 정확한 복원이 보장됨을 보이며, 유리한 초기 조건 하에서 국소 복원 보장을 제공한다.

ABSTRACT

Nonconvex matrix recovery is known to contain no spurious local minima under a restricted isometry property (RIP) with a sufficiently small RIP constant $\\delta$. If $\\delta$ is too large, however, then counterexamples containing spurious local minima are known to exist. In this paper, we introduce a proof technique that is capable of establishing sharp thresholds on $\\delta$ to guarantee the inexistence of spurious local minima. Using the technique, we prove that in the case of a rank-1 ground truth, an RIP constant of $\\delta&lt;1/2$ is both necessary and sufficient for exact recovery from any arbitrary initial point (such as a random point). We also prove a local recovery result: given an initial point $x_{0}$ satisfying $f(x_{0})\\le(1-\\delta)^{2}f(0)$, any descent algorithm that converges to second-order optimality guarantees exact recovery.

연구 동기 및 목표

• 비볼록 행렬 복원 문제에서 허위 국소 최솟값이 존재하지 않을 조건에 대해 필수적이고 충분한 RIP 상수 간 격차를 메우기.
• 제한된 이성성 성질 하에서 랭크-1 행렬 감지 문제의 정확한 복원을 위한 날카로운 임계값을 설정하기.
• 반대가능한 예외의 존재를 부정함으로써 필수적이고 충분한 조건을 도출하는 새로운 증명 기법 개발하기.
• 전역 보장이 δ ≥ 1/2 일 때 실패하더라도, 초기점의 품질에 기반한 국소 복원 보장 제공하기.
• 랭크-1 문제에서 δ < 1/2 가 필수적이고 충분한 조건임을 증명함으로써 비볼록 최적화 이론적 이해를 통합하기.

제안 방법

• 저자들은 δ-RIP를 만족하고 허위 국소 최솟값을 포함하는 반례의 존재를 부정하는 새로운 증명 전략을 도입한다.
• 그들은 δ*를 그러한 반례가 존재하는 RIP 상수의 하한으로 정의하고, δ < δ* 이면 허위 국소 최솟값이 존재하지 않음을 증명한다.
• 이 방법은 행렬 H, e, X와 벡터 y, U₁, U₂, V를 포함하는 원본-쌍대 증명자 시스템을 구성하고 타당성 조건을 검증하는 데 의존한다.
• 증명은 고차원 변수를 감소된 차원의 대응 변수로 연결하기 위해 투영 행렬 P와 그 크로네cker 곱 P⊗P를 사용한다.
• 원래 변수에서 투영된 변수로의 변환 하에서 원본 및 쌍대 타당성 방정식을 검증하기 위한 핵심 항등식을 유도한다.
• 행렬의 직교성과 양의 준정부호성의 성질을 활용하여 헤시안 행렬과 선형 제약 조건이 요구되는 부등식을 만족함을 증명한다.

실험 결과

연구 질문

• RQ1 랭크-1 경우에서 비볼록 행렬 복원 문제에서 허위 국소 최솟값이 존재하지 않을 수 있는 제한된 이성성 상수 δ 의 날카로운 임계값은 무엇인가?
• RQ2 허위 국소 최솟값이 존재하지 않을 조건에 대해 필수적이고 충분한 조건을 도출할 수 있는 증명 기법을 개발할 수 있는가?
• RQ3 δ ≥ 1/2 일 때 초기점의 품질은 복원 보장에 어떻게 영향을 미치는가?
• RQ4 δ = 1/2 가 전역 보장이 실패하는 정확한 임계값이며, 이를 엄밀하게 증명할 수 있는가?
• RQ5 전역 보장이 상실된 상황에서도 유리한 초기 조건 하에서 국소 복원을 보장할 수 있는가?

주요 결과

• 랭크-1 행렬 복원 문제에서 δ < 1/2 이면 허위 국소 최솟값이 존재하지 않음을 보장한다.
• δ < 1/2 이면 어떤 초기점에서든 국소 최적화 알고리즘이 두 번째 순서 임계점으로 수렴할 경우 진짜 값을 정확히 복원한다.
• 임계값 δ = 1/2 는 날카로운 값이다: δ ≥ 1/2 일 경우 허위 국소 최솟값을 포함하는 반례가 존재하며, 전역 보장이 실패한다.
• 국소 복원 보장을 확립한다: 초기점이 f(x₀) ≤ (1−δ)²‖M⋆‖²_F 를 만족하면, 내림차순 알고리즘이 두 번째 순서 최적성으로 수렴할 경우 M⋆ 를 복원한다.
• 제안된 증명 기법은 δ = 1/2 이하에서 반례의 존재를 부정함으로써 날카로운 임계값을 성공적으로 규명한다.
• 이전에 알려진 δ < 1/5 의 경계가 날카롭지 않음을 확인하며, 랭크-1 문제의 진정한 임계값은 δ < 1/2 임을 증명한다.