[논문 리뷰] Nonconvex Robust Low-rank Matrix Recovery

Xiao Li, Zhihui Zhu외 2명|arXiv (Cornell University)|2018. 09. 24.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 6

한 줄 요약

이 논문은 비볼록성과 강건성 있는 낮은 질서 행렬 복원을 위해 인수분해된 행렬 표현과 ℓ₁-손실 함수를 사용하는 방법을 제안한다. 이는 임의로 손상된 측정치를 다룰 수 있다. 측정 연산자가 ℓ₁/ℓ₂-제한된 등장성 성질을 만족하면, 거의 반의 측정치가 손상된 경우에도 정확한 복원이 가능하다는 것을 증명하였고, 적절히 초기화된 경우 하향 기하학적 단계 크기로 하향하는 하향 기울기 방법의 선형 수렴을 확립하였다.

ABSTRACT

In this paper we study the problem of recovering a low-rank matrix from a number of random linear measurements that are corrupted by outliers taking arbitrary values. We consider a nonsmooth nonconvex formulation of the problem, in which we explicitly enforce the low-rank property of the solution by using a factored representation of the matrix variable and employ an $\ell_1$-loss function to robustify the solution against outliers. We show that even when a constant fraction (which can be up to almost half) of the measurements are arbitrarily corrupted, as long as certain measurement operators arising from the measurement model satisfy the so-called $\ell_1/\ell_2$-restricted isometry property, the ground-truth matrix can be exactly recovered from any global minimum of the resulting optimization problem. Furthermore, we show that the objective function of the optimization problem is sharp and weakly convex. Consequently, a subgradient Method (SubGM) with geometrically diminishing step sizes will converge linearly to the ground-truth matrix when suitably initialized. We demonstrate the efficacy of the SubGM for the nonconvex robust low-rank matrix recovery problem with various numerical experiments.

연구 동기 및 목표

• 임의의 크기의 이상치로 인해 손상된 선형 측정치로부터 낮은 질서 행렬을 복원하는 문제에 대응한다.
• 핵심 노름 최소화의 계산적 제약을 극복하기 위해, 낮은 질서 구조를 명시적으로 강제하는 비볼록, 인수분해된 표현을 사용한다.
• 적대적인 측정치 오염에 강건한 최적화 프레임워크를 개발한다. 이는 거의 반의 측정치가 손상된 경우에도 작동한다.
• 측정 연산자의 미약한 조건 하에서, 비볼록 표현의 임의의 전역 최소값에서 정확한 복원을 보장하는 이론적 보장을 수립한다.
• 적절히 초기화된 경우, 기하학적으로 감소하는 단계 크기를 가지는 하향 기울기 방법이 진짜 행렬로 선형 수렴함을 시연한다.

제안 방법

• 행렬을 X = UUᵀ로 매개변수화하여, 관측치와 예측치 측정치 간의 ℓ₁-손실을 최소화하는 방식으로 강건한 낮은 질서 행렬 복원 문제를 인수분해 표현을 통해 제안한다.
• 측정치의 임의의 오염에 강건한 목적 함수를 확보하기 위해 ℓ₁-손실 함수를 사용한다. 이는 크기가 무한대에 이르는 이상치를 다루는 데 핵심적이다.
• 낮은 질서 구조를 인수분해를 통해 명시적으로 강제하는 비연속, 비볼록 최적화 문제를 도입하여, 핵심 노름 정규화를 피한다.
• 이론적 분석을 통해 목적 함수가 약한 볼록성과 날카로움을 지닌다는 것을 보여주며, 하향 기울기 방법의 수렴 보장을 가능하게 한다.
• 기하학적으로 감소하는 단계 크기를 가지는 하향 기울기 방법(SubGM)을 제안하며, 적절한 초기화 조건 하에서 진짜 행렬로 선형 수렴함을 증명한다.
• 빠른 수렴을 가능하게 하기 위해, 좋은 초기화를 확보하기 위해 잘린 스펙트럼 방법을 온전한 시작 전략으로 사용한다.

실험 결과

연구 질문

• RQ1 ℓ₁-손실과 인수분해 표현을 사용하는 비볼록 표현이, 거의 반의 측정치가 임의로 손상된 경우에도 진짜 낮은 질서 행렬을 정확히 복원할 수 있는가?
• RQ2 측정 연산자가 어떤 조건을 만족해야 비볼록 표현이 임의의 전역 최소값에서 정확한 복원을 보장하는가?
• RQ3 제안된 표현의 목적 함수가 날카로움과 약한 볼록성과 같은 유리한 기하학적 성질을 지니는가?
• RQ4 적절히 초기화된 경우, 기하학적으로 감소하는 단계 크기를 가지는 하향 기울기 방법이 진짜 행렬로 선형 수렴하는가?
• RQ5 높은 이상치 비율 조건 하에서 기존의 중앙값 절단 기반 기울기 하강법(MTGD)과 비교해 본다면, 제안된 SubGM은 더 강건하고 수렴 속도가 빠른가?

주요 결과

• 제안된 비볼록 표현은 ℓ₁-손실과 인수분해된 행렬 표현을 통해, 거의 반의 측정치가 임의로 손상된 경우에도 진짜 낮은 질서 행렬을 정확히 복원할 수 있다.
• 측정 연산자가 ℓ₁/ℓ₂-제한된 등장성 성질을 만족하면, 최적화 문제의 임의의 전역 최소값에서 정확한 복원이 보장된다.
• 목적 함수가 약한 볼록성과 날카로움을 지닌다는 것이 증명되었으며, 이는 기하학적으로 감소하는 단계 크기를 가지는 하향 기울기 방법의 선형 수렴을 보장한다.
• 수치 실험 결과, 적절히 초기화된 SubGM은 기하학적으로 감소하는 단계 크기를 가지며 진짜 행렬로 선형 수렴함을 보였다.
• SubGM은 중앙값 절단 기반 기울기 하강법(MTGD)보다 높은 이상치 비율에 더 강건하며, 측정치가 충분히 제공되는 조건 하에서 50%의 측정치가 손상된 경우에도 행렬을 성공적으로 복원한다.
• 단계 전이 실험 결과, 측정치 수가 증가할수록 더 많은 이상치와 더 높은 이상치 비율을 견딜 수 있음을 확인하였으며, 특히 m ≥ 7nr 조건에서 두드러진 성능 향상을 보였다.