[논문 리뷰] Denise: Deep Robust Principal Component Analysis for Positive Semidefinite Matrices

Calypso Herrera, Florian Krach외 3명|arXiv (Cornell University)|2020. 04. 28.

Sparse and Compressive Sensing Techniques인용 수 2

한 줄 요약

Denise는 대칭 양의 준정적 행렬에 대한 강력한 주성분 분석(RPCA)을 위한 딥러닝 기반 알고리즘을 소개한다. 이 알고리즘은 새로운 행렬을 낮은 질서와 희소 성분으로 분해하는 함수를 학습하여 거의 즉각적인 추론을 가능하게 한다. 상태 기반의 분해 품질을 달성하면서도 주성분 추적(PCP)보다 약 2000배 빠르고, 빠른 PCP보다 약 200배 빠르며, 표현력과 수렴에 대한 이론적 보장도 제공한다.

ABSTRACT

The robust PCA of covariance matrices plays an essential role when isolating key explanatory features. The currently available methods for performing such a low-rank plus sparse decomposition are matrix specific, meaning, those algorithms must re-run for every new matrix. Since these algorithms are computationally expensive, it is preferable to learn and store a function that nearly instantaneously performs this decomposition when evaluated. Therefore, we introduce Denise, a deep learning-based algorithm for robust PCA of covariance matrices, or more generally, of symmetric positive semidefinite matrices, which learns precisely such a function. Theoretical guarantees for Denise are provided. These include a novel universal approximation theorem adapted to our geometric deep learning problem and convergence to an optimal solution to the learning problem. Our experiments show that Denise matches state-of-the-art performance in terms of decomposition quality, while being approximately $2000 imes$ faster than the state-of-the-art, principal component pursuit (PCP), and $200 imes$ faster than the current speed-optimized method, fast PCP.

연구 동기 및 목표

• 대칭 양의 준정적 행렬에 대한 낮은 질서 + 희소 분해를 거의 즉각적으로 수행할 수 있는 방법을 개발하는 것.
• 학습 후 어떤 새로운 행렬이라도 분해할 수 있는 일반화 가능한 딥 네트워크 함수를 학습하는 것. 반복적인 비용이 많이 드는 최적화를 피하기 위함이다.
• 네트워크 출력의 연속성을 통해 소규모 입력 변형에 대한 강건성을 확보하는 것.
• 아키텍처의 보편적 근사 능력과 최적 해로의 수렴에 대한 이론적 보장을 제공하는 것.

제안 방법

• Denise는 대칭 양의 준정적 행렬에 특화된 기하학적 딥러닝 아키텍처를 가진 딥 네트워크를 사용한다.
• 네트워크는 입력 행렬을 낮은 질서 성분과 희소 성분의 합으로 재구성하면서도 희소 성분의 ℓ1-노름을 최소화하도록 엔드 투 엔드로 훈련된다.
• 특징 매핑 h와 리더아웃 매핑 g를 통합하여 소규모 입력 변형에 대해 불변성과 안정성을 확보한다.
• 합성 또는 실세계 데이터를 사용한 지도 학습 설정을 통해 네트워크를 행렬 분해 문제에 훈련시킨다.
• 입력 행렬에 대해 연속적인 네트워크 설계로, 소규모 입력 변화가 소규모 출력 변화를 유도함을 보장한다.
• 이론적 분석에는 기하학적 딥러닝 문제에 대한 새로운 보편적 근사 정리와 i.i.d. 샘플링 조건 하에서 최적 해로의 수렴 보장이 포함된다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 훈련 후 예측되지 않은 양의 준정적 행렬에 대해 일반화하여 강력한 PCA를 수행할 수 있는가?
• RQ2 제안된 아키텍처는 기존의 해법 대비 높은 분해 정확도와 거의 즉각적인 추론 속도를 동시에 달성하는가?
• RQ3 딥러닝 기반 RPCA 방법의 표현력과 수렴에 대해 이론적 보장을 확보할 수 있는가?
• RQ4 네트워크는 입력 행렬의 소규모 변형에 얼마나 강건한가? 아키텍처는 출력의 연속성을 보장하는가?
• RQ5 이 방법은 양의 준정적 행렬을 초월해 일반 행렬을 다룰 수 있도록 확장될 수 있는가?

주요 결과

• Denise는 낮은 질서 성분과 희소 성분의 정확도 측면에서 최신 기준 분해 품질을 달성한다.
• 기준 작업에서 주성분 추적(PCP)보다 약 2000배 빠르고, 빠른 PCP보다 약 200배 빠르다.
• 이론적 분석을 통해 네트워크가 양의 준정적 행렬에 대한 기하학적 RPCA 문제에서 보편적 근사 능력을 지닌다는 것이 확인되었다.
• 네트워크 출력은 입력 행렬에 대해 연속적이며, 소규모 변형에 대해 안정성을 보장한다.
• i.i.d. 샘플링 가정 하에서 최적 해로의 수렴이 증명되었으며, 손실 함수는 네트워크 깊이가 증가함에 따라 최소값으로 수렴한다.
• 훈련 후 예측되지 않은 행렬로도 일반화가 가능하며, 추론에는 단일 전방 전파만으로도 충분하여 온라인 및 실시간 응용에 적합하다.