[논문 리뷰] Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection

HanQin Cai, Jialin Liu외 1명|arXiv (Cornell University)|2021. 10. 11.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 20

한 줄 요약

이 논문은 고차원 이상치 탐지에 적합한 확장 가능한 딥 언폴딩 방법인 학습된 강건한 주성분 분석(LRPCA)을 제안한다. 이 방법은 반복적인 특이값 임계처리를 학습 가능한 전방향-순환-혼합 신경망으로 대체하여 무한 반복 언폴딩과 엔드 투 엔드 파rameter 학습을 가능하게 한다. LRPCA는 ScaledGD와 AltProj과 같은 최신 기법들보다도 합성 및 실세계 영상 배경 분離 작업에서 뛰어난 성능을 보이며, 약한 가정 하에 강력한 일반화 및 복원 보장 성능을 제공한다.

ABSTRACT

Robust principal component analysis (RPCA) is a critical tool in modern machine learning, which detects outliers in the task of low-rank matrix reconstruction. In this paper, we propose a scalable and learnable non-convex approach for high-dimensional RPCA problems, which we call Learned Robust PCA (LRPCA). LRPCA is highly efficient, and its free parameters can be effectively learned to optimize via deep unfolding. Moreover, we extend deep unfolding from finite iterations to infinite iterations via a novel feedforward-recurrent-mixed neural network model. We establish the recovery guarantee of LRPCA under mild assumptions for RPCA. Numerical experiments show that LRPCA outperforms the state-of-the-art RPCA algorithms, such as ScaledGD and AltProj, on both synthetic datasets and real-world applications.

연구 동기 및 목표

• 모든 반복 단계에서 비용이 많이 드는 특이값 임계처리(SVT)에 의존하는 기존 RPCA 방법의 높은 계산 비용을 해결하기 위해.
• 유한 반복 딥 언폴딩의 한계를 극복하여 더 높은 정확도를 얻기 위해 재학습이 필요로 하는 문제를 해결하기 위해.
• 고차원 RPCA 문제에 대해 확장 가능하고, 학습 가능하며, 이론적으로 탄탄한 접근법을 개발하기 위해.
• 재학습 없이도 다양한 행렬 크기와 질량에 걸쳐 일반화할 수 있도록 하기 위해.
• 약한 가정 하에 제안된 방법의 복원 보장을 수립하기 위해.

제안 방법

• 무한 반복 언폴딩을 모델링하기 위해 전방향-순환-혼합 신경망(FRMNN)을 제안하여, 재학습 없이도 임의의 정밀도를 달성할 수 있도록 한다.
• 기존 RPCA의 특이값 임계처리(SVT) 단계를 학습 가능한 적응형 임계처리 및 스텝 크기 파ram터로 대체한다.
• 딥 언폴딩을 활용해 비볼록 RPCA 알고리즘을 매개변수화하여, 자유 파ram터의 엔드 투 엔드 백프로파게이션 기반 학습을 가능하게 한다.
• 합성 데이터를 사용하여 알려진 진짜 값을 기반으로 한 감독 하에, 층 단위의 학습 전략과 확률적 경사 하강법(SGD)을 적용한다.
• 이론적 경계에 기반하여 테스트 중에 임계처리 파라미터를 스케일링하여, 다양한 행렬 크기와 질량에 걸쳐 일반화할 수 있도록 한다.
• 하이브리드 학습 전략을 사용한다: 층 단위의 학습과 SGD, 하이퍼파라미터 최적화를 위한 그리드 서치를 결합하고, 검증을 위해 보류된 합성 인스턴스를 사용한다.

실험 결과

연구 질문

• RQ1 RPCA에 대한 딥 언폴딩 접근법은 고차원 환경에서 특이값 임계처리(SVT)의 계산 블로킹 문제를 피할 수 있는가?
• RQ2 재학습 없이도 임의의 정밀도를 달성할 수 있는 학습 가능한 무한 반복 언폴딩 프레임워크를 설계할 수 있는가?
• RQ3 단일 기본 설정에서 학습된 모델이 다양한 행렬 차원과 질량에 걸쳐 잘 일반화되는가?
• RQ4 학습된 파라미터가 약한 가정 하에 이론적으로 정당화되며, 복원 보장이 가능한가?
• RQ5 제안된 방법의 성능는 ScaledGD와 AltProj과 같은 최신 RPCA 알고리즘과 비교해 어떻게 되는가?

주요 결과

• LRPCA는 합성 데이터셋과 실세계 영상 배경 분리 작업 모두에서 ScaledGD와 AltProj을 능가하며, 더 적은 반복 수로 더 높은 정확도를 달성한다.
• 모델의 일반화 성능가 뛰어나, 기준 설정(n=1000, r=5)에서 학습한 후 n=3000, r=5에서 10−4 정밀도에 도달하는 데 7회 반복을 사용했고, 목표 설정에서 학습한 경우 6회 반복으로 동일한 성능를 달성한다.
• 학습된 스텝 크기는 초기 반복에서 크며 점진적으로 감소하며, 이는 이론적 기대와 일치하며 강력한 초기 수렴을 가능하게 한다.
• 임계처리 파라미터는 지수적으로 감소하며, 이는 레마 10의 이론적 경계와 일치하여 안정적이고 적응형 이상치 억제를 나타낸다.
• GPU 병렬 처리 덕분에 문제 크기와 비례하여 하위선형으로 학습 시간이 증가하며, n=5000, r=5, α=0.1일 때 2405초가 소요된다.
• 약한 가정 하에 정확한 복원이 가능하며, 유한한 비균형성과 희박성 조건을 포함하여 이론적 복원 보장을 수립하였다.