[논문 리뷰] Denise: Deep Learning based Robust PCA for Positive Semidefinite Matrices.

Calypso Herrera, Florian Krach외 1명|arXiv (Cornell University)|2020. 04. 28.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 7

한 줄 요약

Denise는 대칭 정반비례 행렬에 대해 깊이 학습 기반의 강력한 주성분 분석(PCA) 방법을 소개하며, 저질서 + 희소 분해를 수행하는 보편적인 함수를 학습한다. 매트릭스 특정 알고리즘과는 달리, 단 한 번의 학습 단계 후에 상태 최고 수준의 분해 정확도를 달성하면서도 순차적 계산 속도가 수개의 주기보다 빠르다.

ABSTRACT

The robust PCA of high-dimensional matrices plays an essential role when isolating key explanatory features. The currently available methods for performing such a low-rank plus sparse decomposition are matrix specific, meaning, the algorithm must re-run each time a new matrix should be decomposed. Since these algorithms are computationally expensive, it is preferable to learn and store a function that instantaneously performs this decomposition when evaluated. Therefore, we introduce Denise, a deep learning-based algorithm for robust PCA of symmetric positive semidefinite matrices, which learns precisely such a function. Theoretical guarantees that Denise's architecture can approximate the decomposition function, to arbitrary precision and with arbitrarily high probability, are obtained. The training scheme is also shown to convergence to a stationary point of the robust PCA's loss-function. We train Denise on a randomly generated dataset, and evaluate the performance of the DNN on synthetic and real-world covariance matrices. Denise achieves comparable results to several state-of-the-art algorithms in terms of decomposition quality, but as only one evaluation of the learned DNN is needed, Denise outperforms all existing algorithms in terms of computation time.

연구 동기 및 목표

• 각 새로운 매트릭스마다 다시 실행이 필요한 기존 매트릭스 특정 강력한 PCA 알고리즘의 계산 비효율성을 해결한다.
• 모든 대칭 정반비례 행렬을 저질서 및 희소 성분으로 즉각적으로 분해할 수 있는 보편적인 딥 뉴럴 네트워크(DNN) 함수를 개발한다.
• Denise의 아키텍처가 임의의 정밀도로 진짜 분해 함수를 고확률로 근사할 수 있다는 이론적 보장을 제공한다.
• 학습 과정이 강력한 PCA 손실 함수의 정류점에 수렴하도록 보장한다.
• 합성 및 실제 공분산 매트릭스에서 경쟁력 있는 분해 정확도를 유지하면서도 뛰어난 추론 속도를 입증한다.

제안 방법

• 대칭 정반비례 행렬을 위한 특화된 딥 뉴럴 네트워크 아키텍처를 설계하여 저질서 + 희소 분해 함수를 학습한다.
• 알려진 저질서 및 희소 성분을 가진 임의로 생성된 정반비례 행렬의 대규모 데이터셋을 사용해 DNN을 훈련한다.
• 표준 강력한 PCA 목표와 일치하는 손실 함수를 사용하여 정확한 분해를 유도한다.
• 강력한 PCA 손실 함수의 정류점으로 향하는 학습 방식의 이론적 수렴성을 증명한다.
• Denise가 진짜 분해 함수를 임의의 정밀도로 고확률로 근사할 수 있다는 이론적 근거를 확립한다.
• 합성 및 실제 공분산 매트릭스에서 추론 성능을 평가하여 속도와 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 대칭 정반비례 행렬에 대해 강력한 PCA를 수행하는 보편적인 함수를 학습할 수 있는가? 이는 매트릭스마다 다시 계산할 필요 없이 가능할까?
• RQ2 제안된 DNN 아키텍처는 진짜 분해 함수를 임의의 정밀도로 고확률로 근사할 수 있는 이론적 보장을 제공하는가?
• RQ3 Denise의 학습 과정은 강력한 PCA 손실 함수의 정류점으로 수렴하는가?
• RQ4 합성 및 실제 공분산 매트릭스에서 Denise의 분해 정확도는 기존의 최상위 수준의 매트릭스 특정 강력한 PCA 알고리즘과 비교해 어떻게 되는가?
• RQ5 정확도 경쟁력은 유지하면서도, Denise는 기존 방법에 비해 얼마나 뛰어난 추론 속도를 보이는가?

주요 결과

• Denise는 합성 및 실제 공분산 매트릭스에서 기존의 최상위 수준의 매트릭스 특정 강력한 PCA 알고리즘과 비슷한 분해 정확도를 달성한다.
• DNN 기반 접근법은 학습 후 즉각적인 추론을 가능하게 하여 반복적 매트릭스 특정 알고리즘보다 훨씬 더 빠른 계산 속도를 제공한다.
• 이론적 분석을 통해 Denise의 아키텍처가 임의의 정밀도로 고확률로 진짜 분해 함수를 근사할 수 있음을 확인했다.
• 학습 과정이 강력한 PCA 손실 함수의 정류점으로 수렴한다는 것이 증명되었다.
• Denise는 단일 학습 후 한 번의 평가만으로도 모든 기존 알고리즘보다 뛰어난 추론 속도를 보이며, 계산 시간 측면에서 승리한다.
• 각 새로운 입력에 대해 재학습이 필요 없이 다양한 정반비례 매트릭스에 잘 일반화된다.