[논문 리뷰] How Many Components should be Retained from a Multivariate Time Series PCA?

Alethea Rea, William Rea|arXiv (Cornell University)|2016. 10. 12.

Time Series Analysis and Forecasting참고 문헌 6인용 수 24

한 줄 요약

이 논문은 다변량 시계열 분석에서 주성분(PCA)을 유지할 개수를 결정하기 위해 두 가지 새로운 시각화 기법—슬라이딩 윈도우를 통한 PCA 계수의 히트맵과 고유벡터 간 각도 추적—을 제안한다. 이 방법들은 시간에 따라 구조적 변화와 의미의 안정성을 드러내며, 금융 및 기상 데이터에서 표준 방법이 10~11개 성분까지 유지할 것을 제안하지만 실제로는 첫 번째 또는 두 번째 성분만이 일관되고 해석 가능한 의미를 유지함을 보여준다.

ABSTRACT

We report on the results of two new approaches to considering how many principal components to retain from an analysis of a multivariate time series. The first is by using a "heat map" based approach. A heat map in this context refers to a series of principal component coefficients created by applying a sliding window to a multivariate time series. Furthermore the heat maps can provide detailed insights into the evolution of the structure of each principal component over time. The second is by examining the change of the angle of the principal component over time within the high-dimensional data space. We provide evidence that both are useful in studying structure and evolution of a multivariate time series.

연구 동기 및 목표

• 표준 '경험칙'이 일관되지 않은 결과를 낳는 경우, 다변량 시계열 PCA에서 주성분을 몇 개 유지할 것인지에 대한 핵심 과제를 해결하기 위해.
• 유지된 주성분이 전체 샘플 기간 동안 일관된 해석 가능성과 구조적 의미를 유지하는지 조사하기 위해.
• 성분 안정성과 시간에 따른 구조를 평가하기 위해, 두 가지 새로운 시각화 기법—히트맵과 고유벡터 간 각도 추적—을 개발하고 검증하기 위해.
• 전통적인 선택 방법을 보완할 수 있는 프레임워크를 제공하기 위해, 시간에 따른 변화와 해석 가능성까지 성분 유지 결정에 통합하기 위해.

제안 방법

• 다변량 시계열에 슬라이딩 윈도우를 적용하여 시간에 따른 주성분 계수를 계산함으로써 성분의 구조적 동적 분석이 가능하도록 함.
• 슬라이딩 윈도우를 통한 PCA 계수에서 히트맵을 생성하여 성분 로딩의 변화를 시각화하고, 구조적 패턴이나 변화를 탐지함.
• 각 성분 내 변수를 정렬하여 해석 가능성 향상과 히트맵 시각화에서 일관된 군집을 드러냄.
• 시간에 따라 연속된 고유벡터 간의 각도를 추적하여 고차원 공간에서 주요 변동 방향의 변화를 탐지함.
• 각도 변화를 불안정성의 신호로 사용—큰 각도 변화는 데이터 구조나 성분 의미의 변화를 시사함.
• 이 두 가지 방법을 표준 PCA 선택 규칙(예: 누적 분산, 스크리 플롯, 카이저의 규칙)과 결합하여 성분 유지 결정의 검증과 보완함.

실험 결과

연구 질문

• RQ1 표준 선택 규칙이 상충되는 결과를 낳을 경우, 다변량 시계열 PCA에서 주성분을 몇 개 유지해야 하는가?
• RQ2 주성분이 전체 샘플 기간 동안 일관된 해석 가능성과 구조적 의미를 유지하는가?
• RQ3 슬라이딩 윈도우를 통한 PCA 계수의 히트맵이 시간에 따라 성분 로딩의 의미 있는 패턴이나 구조적 변화를 드러내는가?
• RQ4 연속된 고유벡터 간의 각도가 시간에 따라 유의미하게 변화하는가? 이는 주요 변동 원인의 변화를 시사하는가?
• RQ5 시간적 안정성과 해석 가능성까지 통합함으로써, 제안된 방법이 기존 PCA 성분 선택 방식을 어느 정도 향상시키는가?

주요 결과

• FTSE 250 금융 데이터에서는 표준 방법이 최대 109개 성분(카이저의 규칙) 또는 10개 성분(스크리 플롯)을 유지할 것을 제안하지만, 히트맵과 각도 분석은 첫 번째 또는 두 번째 성분만이 안정적이고 해석 가능한 구조를 유지함을 시사함.
• FTSE 250 데이터에서 첫 번째 주성분은 일관되게 시장 전반에 영향을 미치는 효과(낮은 계수를 가진 구조 A)를 보이며, 이는 광범위한 시장 요인으로서의 해석을 뒷받침함.
• 금융 데이터에서 PC2를 초과하는 성분들은 점점 더 불안정해지고 로딩이 급격히 변화함을 보이며, 일관된 금융적 의미를 갖지 못하므로 해석을 위해 유지해서는 안 됨.
• 호주 일일 최고 기온 데이터에서는 히트맵과 각도 분석을 통해 첫 번째 성분이 전반적인 기상 조건을 나타냄(높은 계수를 가진 구조 A), 두 번째에서 여덟 번째 성분은 감지 가능한 그러나 다양한 구조적 패턴을 보임.
• 두 데이터셋 모두에서 각도 변화 분석은 유일하게 첫 번째 주성분만이 시간에 따라 안정된 방향을 유지함을 시사하며, 이후 성분들은 유의미한 각도 변화를 보이며 의미 상실을 경고함.
• 히트맵과 각도 추적의 조합은 전통적 방법만으로는 얻을 수 없는, 성분의 구조와 시간에 따른 진화에 대한 훨씬 더 세부적인 통찰을 제공함. 특히 성분이 더 이상 의미가 없어지는 순간을 식별하는 데 특별히 유용함.