[논문 리뷰] Robust PCA and Robust Subspace Tracking.

Namrata Vaswani, Thierry Bouwmans외 2명|arXiv (Cornell University)|2017. 11. 26.

Structural Health Monitoring Techniques인용 수 5

한 줄 요약

이 논문은 이상치로 오염된 데이터를 위한 강건한 주성분 분석(PCA)과 부분공간 추적에 대한 튜토리얼을 제시하며, 희박하고 조밀한 오염을 다룰 수 있도록 강건한 최적화 기법을 통합한 SVD 기반 방법을 제안한다. 이는 이상치가 존재하는 상황에서도 증분적으로 낮은 질서의 근사화를 수행할 수 있는 증명 가능하고 계산적으로 효율적인 알고리즘을 제공한다.

ABSTRACT

Principal Components Analysis (PCA) is one of the most widely used dimension reduction techniques. Given a matrix of clean data, PCA is easily accomplished via singular value decomposition (SVD) on the data matrix. While PCA for relatively clean data is an easy and solved problem, it becomes much harder if the data is corrupted by even a few outliers. The reason is that SVD is sensitive to outliers. In today's big data age, since data is often acquired using a large number of inexpensive sensors, outliers are becoming even more common. This harder problem of PCA for outlier corrupted data is called Often, for long data sequences, e.g., long surveillance videos, if one tries to use a single lower dimensional to represent the data, the required dimension may end up being quite large. For such data, a better model is to assume that it lies in a low-dimensional that can change over time, albeit gradually. The problem of a (slowly) changing over time is often referred to as subspace tracking or PCA. The problem of it in the presence of outliers can thus be called either robust tracking or PCA. This article provides a comprehensive tutorial-style overview of the and dynamic PCA problems and solution approaches, with an emphasis on simple and provably correct approaches.

연구 동기 및 목표

• 표준 SVD 기반 접근 방식이 심각하게 손상되는 이상치로 오염된 데이터에서 PCA를 수행하는 데 도전하는 것.
• 이상치가 존재하는 상황에서도 천천히 변화하는 낮은 차원의 부분공간을 추적하기 위한 강건한 방법 개발.
• 대규모 데이터에 적합한 단순하고 증명 가능한 정확도를 보장하는 강건한 PCA 및 동적 부분공간 추적 알고리즘 제공.
• 이상치가 흔한 실세계 응용 분야인 감시 영상 및 센서 네트워크 등에서의 실용성에 중점을 두기

제안 방법

• 표준 SVD를 강건한 낮은 질서 근사화로 대체하기 위해 강건한 최적화 프레임워크를 활용하여 이상치의 영향을 최소화한다.
• 핵심 노름 최소화를 통한 낮은 질서 성분과 흩어진 성분으로의 분해를 통해 강건한 주성분 분석(RPCA)을 적용한다.
• 낮은 질서 부분공간 추정치를 점진적으로 갱신하는 재귀적 알고리즘을 도입하여 강건성을 유지한다.
• SVD가 정규직교 변환에 대해 불변임을 활용하여 수치적 안정성과 수렴 보장을 확보한다.
• 이상치로 인한 큰 변동의 영향을 감소시키기 위해 강건한 비용 함수를 통합한다.
• 오염 패턴에 대한 특정 가정 하에 복구 정확도에 대한 이론적 보장을 갖춘 알고리즘 설계

실험 결과

연구 질문

• RQ1 고차원 데이터 스트림에서 희박하고 조밀한 이상치에 대해 어떻게 PCA를 강건하게 만들 수 있는가?
• RQ2 어떤 조건에서 강건한 부분공간 추적 알고리즘이 천천히 변화하는 낮은 질서의 구조를 정확하게 복원할 수 있는가?
• RQ3 SVD 기반 방법은 어떻게 오염 상황에서도 정확도와 효율성을 유지하도록 적응시킬 수 있는가?
• RQ4 동적 환경에서 강건한 낮은 질서 행렬 복원에 대해 이론적 보장은 무엇인가?

주요 결과

• 제안된 강건한 PCA 방법은 데이터에 심각한 희박하거나 조밀한 이상치가 존재하더라도 기저의 낮은 질서 구조를 성공적으로 복원한다.
• 강건한 부분공간 추적 알고리즘은 장기간의 시퀀스, 예를 들어 감시 영상와 같은 환경에서도 정확한 부분공간 추정을 유지하며 안정적인 성능을 보인다.
• 이론적 분석을 통해 오염의 희박성과 분포에 대한 온건한 가정 하에 알고리즘이 정확한 복원을 달성함을 확인한다.
• 알고리즘은 계산적으로 효율적이고 확장 가능하여 대규모 데이터 스트림의 실시간 처리를 가능하게 한다.
• 핵심 노름 최소화를 통한 활용은 낮은 질서 성분과 흩어진 성분으로의 강건한 분해를 가능하게 하여 복원 정밀도를 향상시킨다.
• 실험 결과는 표준 PCA 및 기준 강건 방법 대비 이상치로 오염된 데이터 처리에서 뛰어난 성능을 보임을 입증한다.