[논문 리뷰] Unsupervised and Supervised Principal Component Analysis: Tutorial

Benyamin Ghojogh, Mark Crowley|arXiv (Cornell University)|2019. 06. 01.

Blind Source Separation Techniques참고 문헌 43인용 수 19

한 줄 요약

이 튜토리얼은 주성분 분석(PCA), 지도 학습형 PCA(SPCA), 커널 PCA, 커널 SPCA에 대한 종합적인 개요를 제공하며, 비지도 및 지도 학습 기반 차원 축소 기법을 다룹니다. 투영 공식, 고유분해 및 SVD 기반 PCA, 이중 및 커널 방법, 그리고 샘플 외 확장 기법을 다루며, Frey 및 AT&T 얼굴 데이터셋에 대한 시뮬레이션을 통해 이론 원리가 실무에서 어떻게 검증되는지 확인합니다.

ABSTRACT

This is a detailed tutorial paper which explains the Principal Component Analysis (PCA), Supervised PCA (SPCA), kernel PCA, and kernel SPCA. We start with projection, PCA with eigen-decomposition, PCA with one and multiple projection directions, properties of the projection matrix, reconstruction error minimization, and we connect to autoencoder. Then, PCA with singular value decomposition, dual PCA, and kernel PCA are covered. SPCA using both scoring and Hilbert-Schmidt independence criterion are explained. Kernel SPCA using both direct and dual approaches are then introduced. We cover all cases of projection and reconstruction of training and out-of-sample data. Finally, some simulations are provided on Frey and AT&T face datasets for verifying the theory in practice.

연구 동기 및 목표

• 비지도 및 지도 학습 기반 PCA, 특히 커널 및 이중 공식을 포함한 통합적이고 심층적인 튜토리얼 제공.
• 투영, 재구성, 고유분해와 같은 PCA의 수학적 기초를 자동에ncoder와의 연결 고려하여 명확히 설명.
• 클래스 레이블을 스코어링과 힐버트-슈미트 독립성 기준을 통해 PCA에 통합하여 지도 학습 기반 차원 축소를 위한 방법 설명.
• PCA 및 커널 PCA에 대한 샘플 외 확장을 위한 기법을 유도하고 제시하여 학습 데이터를 초월한 일반화 보장.
• 실세계 얼굴 데이터셋(Frey 및 AT&T)에 대한 시뮬레이션을 통해 이론적 개념을 검증하고 실용적 적용 가능성을 입증.

제안 방법

• 행렬 U의 열공간에 수직 투영을 통해 PCA를 유도하는 투영 기반 공식을 사용하며, 재구성 오차를 최소화함.
• 투영 행렬 Π = U(UᵀU)⁻¹Uᵀ를 유도하고, 이가 저차원 투영에서 데이터를 재구성하는 데서 수행하는 역할를 설명.
• 공분산 행렬의 고유분해 및 데이터 행렬 X의 SVD를 통한 PCA 유도를 제시하며, 두 접근 방식 간의 수학적 동치성을 확립.
• d ≫ n일 경우를 대비해 이중 문제를 n차원 공간에서 해결하는 이중 PCA를 대안 공식으로 제시.
• 커널 함수를 사용해 데이터를 고차원 특징 공간으로 매핑함으로써 비선형 다양체 학습이 가능한 커널 방법 적용.
• 중앙화된 커널 행렬을 사용해 특징 공간에서 평균 제거를 처리함으로써 직접 및 이중 공식을 모두 활용한 커널 SPCA 도입.

실험 결과

연구 질문

• RQ1 PCA는 어떻게 투영 및 재구성 오차 최소화 프레임워크를 통해 유도되고 해석될 수 있는가?
• RQ2 고유분해 및 SVD 기반 PCA 간의 수학적 및 알고리즘적 차이점은 무엇이며, 어떻게 동치성을 갖는가?
• RQ3 지도 학습형 PCA(SPCA)는 클래스 레이블을 어떻게 통합하여 표준 PCA보다 더 나은 차원 축소 성능을 달성하는가?
• RQ4 힐버트-슈미트 독립성 기준은 SPCA에서 어떤 역할을 하는가? 그리고 스코어링 기반 SPCA 접근 방식과는 어떻게 다를까?
• RQ5 커널 행렬 중앙화 및 이중 공식을 통해 어떻게 새로운 샘플 외 데이터를 학습된 PCA 또는 커널 PCA 부분공간에 투영할 수 있는가?

주요 결과

• 논문은 고유분해, SVD, 이중 PCA를 포함한 PCA의 여러 공식을 성공적으로 유도하고 상호 연결하며 그 수학적 동치성을 보여줌.
• PCA가 최소 제곱 기준에서 재구성 오차를 최소화하는 것과 동치임을 입증하며, 최적의 투영 행렬이 수직 투영을 통해 유도됨을 보여줌.
• 튜토리얼은 데이터를 고차원 공간으로 매핑한 후 선형 PCA를 적용함으로써 비선형 차원 축소가 가능하다는 점을 보여줌.
• SPCA의 경우, Bair 등(2006)의 특징 스코어링 방식과 Barshan 등(2011)의 힐버트-슈미트 독립성 기준 방식을 비교하며, 후자가 더 체계적인 이론적 기반을 제공함을 밝힘.
• 커널 PCA의 샘플 외 확장을 위해 훈련 데이터 통계를 기반으로 커널 행렬을 이중 중앙화함으로써 새로운 데이터 포인트를 학습된 부분공간에 투영할 수 있음.
• Frey 및 AT&T 얼굴 데이터셋에 대한 시뮬레이션 결과 이론적 예측이 실무에서 효과적으로 검증되었으며, 실용적인 차원 축소 및 재구성 성능이 입증됨.