[논문 리뷰] Principal Component Analysis: A Natural Approach to Data Exploration

Felipe L. Gewers, Gustavo R. Ferreira외 5명|arXiv (Cornell University)|2018. 04. 07.

Spectroscopy and Chemometric Analyses참고 문헌 62인용 수 105

한 줄 요약

이 논문은 PCA를 데이터 탐색과 차원 축소를 위한 실용적이고 직관적인 도구로 제시하고, 표준화 효과를 논의하며, 다양한 분야에서의 PCA 활용 사례를 조사하고, 분산 보존에 대한 실험적 평가를 제시한다.

ABSTRACT

Principal component analysis (PCA) is often used for analyzing data in the most diverse areas. In this work, we report an integrated approach to several theoretical and practical aspects of PCA. We start by providing, in an intuitive and accessible manner, the basic principles underlying PCA and its applications. Next, we present a systematic, though no exclusive, survey of some representative works illustrating the potential of PCA applications to a wide range of areas. An experimental investigation of the ability of PCA for variance explanation and dimensionality reduction is also developed, which confirms the efficacy of PCA and also shows that standardizing or not the original data can have important effects on the obtained results. Overall, we believe the several covered issues can assist researchers from the most diverse areas in using and interpreting PCA.

연구 동기 및 목표

• PCA의 기초와 주축 방향으로 분산을 최대화하는 회전으로서의 기하학적 해석을 설명한다.
• 생물학, 의학, 신경과학, 심리학, 공학 등 다양한 분야에서의 PCA 활용 사례를 조사하여 다재다능함을 보여준다.
• 전처리 선택, 특히 표준화가 PCA 결과와 분산 보존에 어떤 영향을 미치는지 조사한다.

제안 방법

• 중심화된 데이터의 공분산 행렬의 고유벡터를 포함하는 W로 Y = W X로 PCA를 형식화한다.
• 공분산 행렬 K = Cov(X)와 그 고유값/고유벡터를 계산하여 W를 구성한다.
• S와 Sc를 통해 분산 보존을 설명하고 설명된 분산 비율 G = (Sc/S) × 100%를 정의한다.
• 보존되는 분산(예: 70%)을 기준으로 구성요소 수 M을 선택하는 기준을 논의하고 차원 추정을 위한 확률적 및 베이지안 접근법에 대한 참조를 추가한다.
• 표준화 여부와 같은 실용적 고려사항과 PCA 축의 특성(방향 불확정성, 회전, 최대 분산 시연)을 분석한다.

실험 결과

연구 질문

• RQ1 PCA가 데이터의 상관을 제거하고 주축 방향으로 분산을 최대화하는가?
• RQ2 데이터를 표준화하는지 여부가 PCA 결과와 분산 보존에 어떤 영향을 미치는가?
• RQ3 다양한 데이터셋에서 총 분산의 원하는 양을 보존하기 위해 필요한 주성분의 수는 얼마인가?
• RQ4 PCA를 더 복잡한 투영이나 분석을 돕는 전처리 단계로 어떤 맥락에서 사용해야 하는가?
• RQ5 다양한 도메인에서 PCA 축과 적재의 실용적 한계와 해석적 측면은 무엇인가?

주요 결과

• PCA는 원래 변수들을 서로 독립적으로 만들어 분산을 처음 몇 축에 집중시키며, 이는 효과적인 차원 축소를 가능하게 한다.
• 표준화는 PCA 결과에 상당한 영향을 미칠 수 있으며, 부적절한 표준화는 노이즈나 의미 없는 변화의 증폭으로 이어질 수 있다.
• PCA 회전 하에서 총 분산은 보존되며, 보존된 분산 Sc는 G = (Sc/S) × 100%를 통해 선택된 구성요소 수 M을 결정한다.
• PCA 축의 방향은 고유하지 않으며(축의 부호가 결과를 바꾸지 않음)
• PCA를 더 비용이 큰 투영 앞에 사용해 데이터를 단순화하고 통계적 표현을 향상시킬 수 있다.
• 실증적 증거에 따르면 많은 실제 데이터셋에서 상당한 분산 보존이 달성 가능하다.