[논문 리뷰] Robust Principal Component Analysis on Graphs

Nauman Shahid, Vassilis Kalofolias외 3명|arXiv (Cornell University)|2015. 04. 23.

Face and Expression Recognition참고 문헌 1인용 수 20

한 줄 요약

이 논문은 그래프 기반 스펙트럴 정규화를 Robust PCA에 통합한 볼록 최적화 프레임워크인 Robust PCA on Graphs를 제안한다. 핵심 노름, 희소 오차, 그래프 라플라시안 기반의 스무쓰니스를 조합하여 최소화함으로써, 기준 데이터셋 및 영상 데이터셋에서 차폐, 누락 데이터, 클래스 간 분리 문제를 처리하는 데 뛰어난 성능을 발휘하며, 10개의 최신 모델을 능가한다.

ABSTRACT

Principal Component Analysis (PCA) is the most widely used tool for linear dimensionality reduction and clustering. Still it is highly sensitive to outliers and does not scale well with respect to the number of data samples. Robust PCA solves the first issue with a sparse penalty term. The second issue can be handled with the matrix factorization model, which is however non-convex. Besides, PCA based clustering can also be enhanced by using a graph of data similarity. In this article, we introduce a new model called "Robust PCA on Graphs" which incorporates spectral graph regularization into the Robust PCA framework. Our proposed model benefits from 1) the robustness of principal components to occlusions and missing values, 2) enhanced low-rank recovery, 3) improved clustering property due to the graph smoothness assumption on the low-rank matrix, and 4) convexity of the resulting optimization problem. Extensive experiments on 8 benchmark, 3 video and 2 artificial datasets with corruptions clearly reveal that our model outperforms 10 other state-of-the-art models in its clustering and low-rank recovery tasks.

연구 동기 및 목표

• 기존 PCA 및 Robust PCA가 이상치와 열악한 클러스터링 성능를 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• Robust PCA 프레임워크에 그래프 기반의 다양체 구조를 통합하여 저질서 복구 및 클러스터링 성능을 향상시키기 위해.
• 최소한의 파라미터를 가진 볼록 최적화 모델을 개발하여, 데이터 손상 조건에서도 정확한 저질서 복구 및 높은 클러스터 순도를 보장하기 위해.
• 실제 이미지 및 영상 데이터와 같은 실제 세계 데이터에서의 성능과 그래프 구축 품질에 대한 저항성을 입증하기 위해.

제안 방법

• 이 방법은 저질서 행렬 L의 핵심 노름, 희소 오차 S의 l1-노름, 그리고 그래프 라플라시안 항 γ·tr(LΦLᵀ)의 조합을 최소화하는 볼록 최적화 문제를 설정한다.
• 정규화된 그래프 라플라시안 Φ를 활용하여 데이터 다양체 상에서 저질서 표현의 스무쓰니스를 강제함으로써, 클러스터링 구조를 촉진한다.
• 비특성 분해를 피하기 위해 직접적으로 저질서 행렬 L을 복구하며, 주성분을 명시적으로 계산하지 않는다.
• p-최근접 이웃을 사용하여 세 가지 가중치 방법(이진, 히트 커널, 상관계수 거리)을 적용해 그래프를 구성한다.
• 증강 라그랑주 방법을 사용해 최적화를 해결하며, 스파arsity를 제어하는 파라미터 λ와 그래프 정규화 강도를 조절하는 파라미터 γ는 교차 검증을 통해 선택된다.
• 그래프가 손상된 데이터로부터 구축되더라도 성능이 떨어지지 않도록 설계되어 있어, 강건한 성능 유지를 보장한다.

실험 결과

연구 질문

• RQ1 거대한 오염 조건 하에서 스펙트럴 그래프 정규화가 Robust PCA의 저질서 복구 및 클러스터링 성능 향상에 기여하는가?
• RQ2 저질서 행렬에 그래프 스무쓰니스를 통합하면 임베딩 공간에서 더 높은 클러스터 순도를 달성하는가?
• RQ3 제안된 볼록 모델은 10개의 최신 차원 축소 모델 대비 성능 및 강건성 면에서 어떻게 비교되는가?
• RQ4 손상되거나 노이즈가 많은 그래프 구축 방식에 대해서도 모델이 강건한가?
• RQ5 영상 데이터에서 정확한 저질서 복구 및 뛰어난 배경 분離를 달성할 수 있는가?

주요 결과

• 제안된 모델은 8개의 기준 데이터셋, 3개의 영상 시퀀스, 2개의 인위적 오염 데이터셋에서 10개의 최신 모델을 능가하는 성능을 보이며, 클러스터링 및 저질서 복구에서 뛰어난 결과를 얻었다.
• 20% 블록 차폐가 있는 CMU PIE 데이터셋에서, RPCA 및 RGLPCA보다 유의미하게 낮은 재구성 오차와 더 나은 시각적 복구 성능을 기록했다.
• 영상 배경 추출 과정에서, 희소 오차에 대한 사전 지식 없이도 움직이는 사람과 그림자를 효과적으로 제거하여 RPCA보다 더 깔끔한 정적 배경을 생성했다.
• 다양한 그래프 구축 전략, 특히 손상된 데이터로부터 생성된 그래프에 대해서도 높은 성능 유지를 보이며 강건성을 입증했다.
• 청결한 데이터가 전혀 없더라도 그래프 유도 스무쓰니스 덕분에 정확한 저질서 복구 및 뛰어난 클러스터링 성능 유지를 달성했다.
• 각 반복에서 SVD를 사용하기 때문에 계산 시간이 다소 길지만, 정확도 향상과의 상호 교환은 유리하며, 향후 작업에서 랜덤화 SVD를 활용해 최적화 속도를 향상시킬 수 있다.