[논문 리뷰] Non-Greedy L21-Norm Maximization for Principal Component Analysis

Feiping Nie, Heng Huang|arXiv (Cornell University)|2016. 03. 28.

Blind Source Separation Techniques참고 문헌 1인용 수 12

한 줄 요약

이 논문은 기존의 L1-노름 방법과는 달리 재구성 오차 최소화와 이론적으로 연결된 비그리디(L21-노름) 최대화 방법을 제안한다. 이 방법은 효율적이고 수렴하는 최적화 알고리즘을 사용하여 동시에 모든 투영 방향을 학습하며, 이상치나 가림이 있는 실제 데이터셋에서 PCA, R1-PCA, L1-PCA보다 낮은 재구성 오차를 달성한다.

ABSTRACT

Principal Component Analysis (PCA) is one of the most important unsupervised methods to handle high-dimensional data. However, due to the high computational complexity of its eigen decomposition solution, it hard to apply PCA to the large-scale data with high dimensionality. Meanwhile, the squared L2-norm based objective makes it sensitive to data outliers. In recent research, the L1-norm maximization based PCA method was proposed for efficient computation and being robust to outliers. However, this work used a greedy strategy to solve the eigen vectors. Moreover, the L1-norm maximization based objective may not be the correct robust PCA formulation, because it loses the theoretical connection to the minimization of data reconstruction error, which is one of the most important intuitions and goals of PCA. In this paper, we propose to maximize the L21-norm based robust PCA objective, which is theoretically connected to the minimization of reconstruction error. More importantly, we propose the efficient non-greedy optimization algorithms to solve our objective and the more general L21-norm maximization problem with theoretically guaranteed convergence. Experimental results on real world data sets show the effectiveness of the proposed method for principal component analysis.

연구 동기 및 목표

• 기존 PCA의 한계, 즉 높은 계산 비용과 이상치에 대한 민감성 문제를 해결하기 위해.
• 재구성 오차 최소화와의 이론적 연결이 없고 局부 최적해에 갇힐 위험이 있는 기존의 그레디브(L1-노름) 최대화 방법의 단점을 극복하기 위해.
• 회전에 대해 불변이며 재구성 오차 최소화와 이론적으로 연결된 강건한 PCA 방법을 개발하기 위해.
• 일반적인 통계학적 학습 모델에 적용 가능한 비그리디이고 수렴 보장이 있는 L21-노름 최대화 최적화 알고리즘을 설계하기 위해.

제안 방법

• PCA에서 재구성 오차 최소화와 이론적으로 연결된 L21-노름 최대화 기반의 새로운 목적 함수를 제안한다.
• 모든 투영 방향을 동시에 최적화하는 비그리디 최적화 알고리즘을 도입하여 순차적 그레디 업데이트를 피한다.
• 이론적 수렴 보장을 갖춘 L21-노름 최대화를 위한 수렴하는 반복적 알고리즘을 개발한다.
• 통계학적 학습 모델에 관련된 더 넓은 클래스의 최대화 문제를 해결하기 위해 알고리즘을 확장한다.
• 행렬-벡터 연산을 사용하여 계산 효율성을 확보하여 고차원 및 대규모 데이터에 적합하다.

실험 결과

연구 질문

• RQ1 L21-노름 최대화는 재구성 오차 최소화와 이론적으로 연결된 L1-노름 최대화의 이론적으로 타당한 대안이 될 수 있는가?
• RQ2 L21-노름 PCA에 대한 비그리디 최적화 전략은 수렴성과 재구성 오차 측면에서 그레디 방법보다 뛰어나게 성능을 발휘하는가?
• RQ3 이러한 방법은 이상치나 가림이 있는 데이터를 다룰 때 PCA, R1-PCA, L1-PCA와 비교해 어떻게 성능을 발휘하는가?
• RQ4 제안된 최적화 프레임워크는 PCA를 초월한 다른 통계학적 학습 모델로 일반화될 수 있는가?

주요 결과

• 제안된 PCA-L21 방법은 이상치나 가림이 있는 모든 테스트 데이터셋에서 PCA, R1-PCA, PCA-L1보다 일관되게 낮은 재구성 오차를 달성한다.
• Yale, AT&T, Umist, AR, XM2VTS, Coil20 데이터셋에서 PCA-L21은 특히 30% 가림 조건에서 PCA-L1을 능가하며, 이는 PCA-L1이 재구성 오차와의 연결이 약하다는 것을 시사한다.
• Palm 데이터셋에서 30% 노이즈가 첨가된 이미지를 사용한 결과, XM2VTS와 Coil20에서 PCA-L21이 가장 낮은 재구성 오차를 기록하여 뛰어난 강건성을 입증한다.
• 비그리디 알고리즘은 신뢰성 있게 수렴하며, 그레디브 L1-최적화보다 우수한 성능을 보이며 국부 최적해에 갇히는 것을 방지한다.
• 이론적 분석을 통해 제안된 알고리즘이 국부 최적해로 수렴함을 확인하여 최적화의 안정성을 보장한다.