[논문 리뷰] Nonconvex Low-Rank Matrix Recovery with Arbitrary Outliers via Median-Truncated Gradient Descent

Yuanxin Li, Yuejie Chi외 2명|arXiv (Cornell University)|2017. 09. 23.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 임의의 이상치가 존재하는 상황에서도 강력한 비볼록 낮은 질서 행렬 복원을 위한 중앙값 절단 기반 경사하강법(median-TGD)을 제안한다. 잔차가 중앙값에서 멀리 떨어진 샘플들을 적응적으로 제거함으로써, 지정된 샘플 복원 복잡도에 가까운 복잡도로 진짜 값으로 선형 수렴을 달성한다. 이는 측정값의 일정 비율이 임의로 손상된 경우에도 성립한다.

ABSTRACT

Recent work has demonstrated the effectiveness of gradient descent for directly recovering the factors of low-rank matrices from random linear measurements in a globally convergent manner when initialized properly. However, the performance of existing algorithms is highly sensitive in the presence of outliers that may take arbitrary values. In this paper, we propose a truncated gradient descent algorithm to improve the robustness against outliers, where the truncation is performed to rule out the contributions of samples that deviate significantly from the {\em sample median} of measurement residuals adaptively in each iteration. We demonstrate that, when initialized in a basin of attraction close to the ground truth, the proposed algorithm converges to the ground truth at a linear rate for the Gaussian measurement model with a near-optimal number of measurements, even when a constant fraction of the measurements are arbitrarily corrupted. In addition, we propose a new truncated spectral method that ensures an initialization in the basin of attraction at slightly higher requirements. We finally provide numerical experiments to validate the superior performance of the proposed approach.

연구 동기 및 목표

• 낮은 질서 행렬 복원에서 표준 비볼록 경사하강법이 임의의 이상치에 민감한 문제를 해결한다.
• 측정값의 일정 비율에서 악성 손상이 발생하더라도 전역 수렴을 유지하는 강력한 최적화 프레임워크를 개발한다.
• 근사 최적의 샘플 복원 복잡도를 확보하면서도 중앙값 기반 절단을 통해 강력성을 향상시킨다.
• 약간 더 강한 조건 하에서 기하학적 수렴 영역에 도달할 수 있도록 보장하는 새로운 절단 스펙트럼 방법을 제안한다.
• 이상치 영향을 억제하기 위해 초기화 및 경사 업데이트 단계에서 모두 중앙값 기반 절단을 적용함으로써 그 효과를 입증한다.

제안 방법

• 잔차가 중앙값 기반 임계값 이내인 샘플들만을 대상으로 경사 업데이트를 계산하는 중앙값 절단 기반 경사하강법(median-TGD)을 제안한다.
• 현재 측정 잔차의 중앙값을 기반으로 각 반복 단계에서 샘플을 적응적으로 절단하여 이상치의 영향을 줄인다.
• 잔차가 중앙값에 가까운 샘플들만 선택하는 절단 스펙트럼 초기화 방법을 도입하여 강력한 초기화를 보장한다.
• 중앙값 기반 절단을 초기화 및 국소 탐색 단계 모두에 적용하여 중앙값의 강력성에 기반한 안정성을 확보한다.
• 절단 임계값은 반복 단계마다 동적으로 업데이트되며, 손상 패tern에 대한 사전 지식 없이도 이상치를 적응적으로 제거할 수 있다.
• 이론적 분석은 농도 불등식과 행렬 편차 경계를 활용하여, 가우시안 측정 모델 하에서 절단된 반복값이 진짜 낮은 질서 행렬로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 낮은 질서 행렬 복원을 위한 경사하강법이 수렴 보장을 유지하면서도 임의의 이상치에 강력하게 만들 수 있는가?
• RQ2 악성 손상 하에서 표준 경사하강법에 비해 중앙값 기반 절단이 경사 업데이트에서 더 강력한가?
• RQ3 측정값의 일정 비율이 손상된 경우 median-TGD가 선형 수렴하기 위해 필요한 샘플 복원 복잡도는 얼마인가?
• RQ4 절단 스펙트럼 방법이 median-TGD의 수렴 영역 내에 초기화를 안정적으로 제공할 수 있는가?
• RQ5 계산 효율성과 강력성 측면에서 median-TGD는 볼록 강력 방법보다 어떻게 비교되는가?

주요 결과

• 제안된 median-TGD 알고리즘은 초기화 단계에서 수렴 영역 내에 있을 경우, 측정값의 일정 비율이 임의로 손상된 상황에서도 진짜 값으로 선형 수렴한다.
• 이 방법은 근사 최적의 샘플 복원 복잡도를 확보하며, 질서가 $ r $인 $ n imes n $ 낮은 질서 행렬에 대해 $ O(n ext{ polylog}(n)) $ 측정값만으로도 충분하다.
• 절단 스펙트럼 초기화 방법은 표준 초기화보다 약간 더 강한 조건 하에서 수렴 영역에 도달함을 보장한다.
• 이론적 분석은 절단된 경사 업데이트가 잔차가 중앙값에서 크게 벗어난 샘플들을 제거함으로써 안정성을 유지함을 보여준다.
• 수치 실험을 통해 median-TGD가 이상치 손상 하에서 표준 비볼록 및 볼록 방법에 비해 뛰어난 강력성과 수렴 속도를 보임을 입증한다.
• 알고리즘의 강력성은 중앙값이 이상치에 대해 저항력이 있기 때문에 기인하며, 이는 절반 이상의 샘플이 손상되지 않는 한 임의로 왜곡될 수 없다.