[논문 리뷰] Cauchy Principal Component Analysis

Pengtao Xie, Eric P. Xing|arXiv (Cornell University)|2014. 12. 19.

Blind Source Separation Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 낮은 질서 제약 조건 하에 최대우도 추정법을 사용하여 잡음에 중량이 두꺼운 코시 분포를 사용해 모델링하는 강건한 확률적 주성분 분석 방법인 코시 주성분 분석(Cauchy PCA)을 제안한다. 이는 밀도 높고 크기가 큰 잡음에 대해 가우시안 PCA 및 라플라스 PCA보다 뛰어난 성능을 보이며, 높은 손상률 하에서도 얼굴 인식 정확도와 재구성 품질 측면에서 뛰어난 성능을 입증하였다.

ABSTRACT

Principal Component Analysis (PCA) has wide applications in machine learning, text mining and computer vision. Classical PCA based on a Gaussian noise model is fragile to noise of large magnitude. Laplace noise assumption based PCA methods cannot deal with dense noise effectively. In this paper, we propose Cauchy Principal Component Analysis (Cauchy PCA), a very simple yet effective PCA method which is robust to various types of noise. We utilize Cauchy distribution to model noise and derive Cauchy PCA under the maximum likelihood estimation (MLE) framework with low rank constraint. Our method can robustly estimate the low rank matrix regardless of whether noise is large or small, dense or sparse. We analyze the robustness of Cauchy PCA from a robust statistics view and present an efficient singular value projection optimization method. Experimental results on both simulated data and real applications demonstrate the robustness of Cauchy PCA to various noise patterns.

연구 동기 및 목표

• 실제 데이터에서 흔히 발생하는 밀도 높고 크기가 큰 잡음 패턴을 다루는 데에 있어 가우시안 PCA 및 라플라스 PCA의 한계를 해결하기 위해.
• 라플라스 PCA가 본질적으로 희박성 유도 성질을 지니고 있어 밀도 높은 잡음을 모델링하지 못하는 문제를 극복하기 위해.
• 희박/작은, 희박/크기, 밀도 높음/작은, 밀도 높음/크기 등 다양한 잡음 패턴에 대해 강건성을 유지하는 확률적 주성분 분석 프레임워크를 개발하기 위해.
• 코시 잡음 하에서 낮은 질서 행렬 추정을 위한 이론적으로 타당하고 효율적인 최적화 방법을 제공하기 위해.
• 실제 응용 분야에서의 우수성을 입증하기 위해, 손상된 이미지를 사용한 얼굴 인식과 같은 응용 분야에서의 성능을 향상시키기 위해.

제안 방법

• 크기가 큰 이상치를 포괄하는 데 적합한 무거운 尾를 지닌 코시 분포를 사용하여 잡음을 모델링하기 위해.
• 데이터 행렬에 낮은 질서 제약 조건을 두고 최대우도 추정(MLE) 프레임워크 내에서 코시 PCA를 유도하기 위해.
• 큰 오차의 영향을 감소시키기 위해 로그우도 목적함수를 최소화하는 최적화 문제를 설정하기 위해.
• 비볼록이고 질서 제약 조건이 있는 최적화 문제를 효율적으로 해결하기 위해 단일값 투영(SVP) 알고리즘을 제안하기 위해.
• 반복적 재가중 및 단일값 임계처리를 통해 낮은 질서의 구조를 유지하면서도 강건성을 확보하기 위해.
• 기본 주성분 분석 파ipeline에 통합하여, 고유얼굴 기반 얼굴 인식 및 행렬 복구 작업에 적용 가능하도록 하기 위해.

실험 결과

연구 질문

• RQ1 가우시안 및 라플라스 PCA가 실패하는 밀도 높고 크기가 큰 잡음 패턴을 효과적으로 다룰 수 있는 코시 분포 기반의 확률적 주성분 분석 모델은 가능한가?
• RQ2 특히 밀도 높은 잡음에 대해 기존의 강건한 주성분 분석 방법과 비교했을 때 코시 PCA의 성능는 어떠한가?
• RQ3 작거나 희박한 잡음에 대해서는 좋은 성능를 유지하면서도 크고 밀도 높은 잡음에 대해 강건한가?
• RQ4 제안된 SVP 최적화 방법은 코시 잡음 하에서 낮은 질서 행렬 추정 문제를 효율적으로 해결할 수 있는가?
• RQ5 실제 응용 분야인 손상된 데이터를 포함한 얼굴 인식에서 코시 PCA는 MV-스테이던트-t PCA보다 더 효과적인가?

주요 결과

• 코시 PCA는 높은 손상률 하에서도 가우시안 PCA보다 뚜렷이 뛰어난 성능을 보이며, 70% 픽셀 손상률(ρ=0.7)에서 27%의 정확도를 기록했고, 라플라스 PCA는 단지 9%에 그쳤다.
• ρ=0.6 및 질서 k=30일 때, 코시 PCA는 인식 가능한 얼굴 재구성을 유지하지만, 가우시안 PCA는 심각하게 손상된 출력을 생성하고, 라플라스 PCA는 얼굴 정체성을 유지하지 못한다.
• 질서 k=30일 때, 코시 PCA는 ρ=0.6까지 안정적인 성능을 유지하지만, 라플라스 PCA는 ρ=0.5를 초과하면 정확도가 급격히 감소한다.
• 작은 잡음 하에서는 코시 PCA가 가우시안 PCA와 유사한 성능을 기록하여, 깨끗한 데이터에서 성능 저하가 발생하지 않음을 확인하였다.
• 행렬 복구 작업에서는 코시 PCA가 MV-스테이던트-t PCA를 능가하며, MV-스테이던트-t PCA는 가우시안 PCA와 유사한 성능를 보이며, 라플라스 및 코시 PCA보다 열 劣하다.
• SVP 최적화 방법은 효율적이고 안정적인 수렴을 가능하게 하여, 코시 PCA가 노이즈가 많은 실세계 응용 분야에 스케일이 가능하게 하였다.