[논문 리뷰] On Clustering Time Series Using Euclidean Distance and Pearson Correlation

Michael R. Berthold, Frank Höppner|arXiv (Cornell University)|2016. 01. 10.

Time Series Analysis and Forecasting인용 수 48

한 줄 요약

이 논문은 z-점수로 정규화된 제곱 유클리드 거리가 상수 인자에 따라 피어슨 상관계수의 역수와 수학적으로 동일하다는 것을 입증하며, 이는 표준 유클리드 기반 클러스터링 알고리즘(예: k-평균)이 간단한 데이터 전처리를 통해 피어슨 상관계수 기반 클러스터링을 모방할 수 있음을 의미한다. 실험 결과는 알고리즘을 수정하여 클러스터 중심을 정규화하지 않더라도, 정규화된 데이터에 대한 표준 k-평균이 이론적으로 정확한 버전과 거의 동일한 결과를 도출함을 보여주며, 이는 z-점수 정규화를 피어슨 상관계수 대체로 실용적이고 효과적으로 사용할 수 있음을 검증한다.

ABSTRACT

For time series comparisons, it has often been observed that z-score normalized Euclidean distances far outperform the unnormalized variant. In this paper we show that a z-score normalized, squared Euclidean Distance is, in fact, equal to a distance based on Pearson Correlation. This has profound impact on many distance-based classification or clustering methods. In addition to this theoretically sound result we also show that the often used k-Means algorithm formally needs a mod ification to keep the interpretation as Pearson correlation strictly valid. Experimental results demonstrate that in many cases the standard k-Means algorithm generally produces the same results.

연구 동기 및 목표

• 정규화된 유클리드 거리와 피어슨 상관계수 간의 수학적 관계를 시계열 유사도 측정에서 명확히 하기.
• 클러스터링 알고리즘에서 피어슨 상관계수 대신 정규화된 유클리드 거리를 사용하는 데 있어 이론적 및 실용적 함의를 다루기.
• 표준 k-평균 알고리즘을 정규화된 데이터에 적용했을 때, 피어슨 상관계수의 의미를 정확히 반영하기 위해 클러스터 중심을 정규화하는 수정된 k-평균 알고리즘과 동일한 결과를 얻는지 평가하기.
• z-점수 정규화를 통한 전처리가 알고리즘 코드 변경 없이도 표준 알고리즘으로 피어슨 상관계수 기반 유사도 측정을 효과적으로 구현할 수 있음을 보여주기.

제안 방법

• z-점수로 정규화된 제곱 유클리드 거리와 피어슨 상관계수의 역수 간의 수학적 동치성을 유도한다.
• 동치성이 상수 인자에 따라 성립하므로, 두 측정법이 시간 시계열 쌍의 순서를 동일하게 정렬함을 보여준다.
• 클러스터 중심을 정규화하여 피어슨 상관계수 의미를 엄격히 유지하는 수정된 k-평균 알고리즘을 제안한다.
• 엔트로피 기반 클러스터링 비교를 통해 정규화된 데이터에 적용한 표준 k-평균과 중심을 정규화한 수정된 k-평균이 생성한 클러스터링 간 유사도를 평가한다.
• 다양한 시간 시계열 데이터셋(예: Gun Point, Synthetic Control, ECG)을 사용하여 방법 간 클러스터링 안정성과 성능을 경험적으로 비교한다.
• 다른 실행 및 알고리즘 변형에서 생성된 클러스터링 간 엔트로피를 측정하여 초기화에 대한 민감도와 정규화의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 z-점수로 정규화된 제곱 유클리드 거리가 피어슨 상관계수 기반 거리와 수학적으로 동일한가?
• RQ2 z-점수로 정규화된 시간 시계열 데이터에 표준 k-평균을 적용했을 때, 피어슨 상관계수의 의미를 정확히 반영하기 위해 클러스터 중심을 정규화하는 k-평균 변형과 동일한 클러스터링을 도출하는가?
• RQ3 정규화된 데이터에 적용한 표준 k-평균의 성능은 클러스터 중심을 정규화하는 이론적으로 정확한 버전과 비교해 클러스터링 안정성과 결과 정확도 측면에서 어떻게 다른가?
• RQ4 z-점수 정규화를 통한 데이터 전처리가 알고리즘 수정 없이도 표준 유클리드 기반 알고리즘으로 피어슨 상관계수 기반 클러스터링을 효과적으로 모방할 수 있는 정도는 어느 정도인가?
• RQ5 클러스터 중심 정규화의 영향은 서로 다른 무작위 초기화에 의해 유도되는 자연스러운 불안정성과 비교해 얼마나 크며, 어떤 영향을 미치는가?

주요 결과

• z-점수로 정규화된 제곱 유클리드 거리는 상수 인자에 따라 피어슨 상관계수의 역수와 수학적으로 동일하며, 이는 정규화를 상관계수 기반 거리의 대체로 사용할 수 있는 이론적 기반을 제공한다.
• 정규화된 시간 시계열 데이터에 표준 k-평균 알고리즘을 적용했을 때, 클러스터 중심을 정규화하는 수정된 k-평균과 거의 구분되지 않는 클러스터링 결과를 도출함을 보여주며, 이는 표준 방법이 실용적으로 충분함을 시사한다.
• 모든 테스트 데이터셋에서 표준 k-평균과 수정된 k-평균 간의 최대 엔트로피 차이(E_pear)는 무작위 초기화로 인한 최소 엔트로피 차이(E_random) 이내였으며, 이는 중심 정규화의 영향이 초기화의 영향보다 작음을 보여준다.
• Gun Point와 Wafer와 같은 안정적인 데이터셋에서는 두 k-평균 버전이 동일한 클러스터링을 도출함(E_pear = 0)했으며, 이는 표준 k-평균이 불안정할지라도(즉, E_random > 0) 여전히 동일한 결과를 도출함을 의미한다.
• Face (All) 및 OSU Leaf와 같은 높은 불안정성의 경우에도 두 k-평균 변형 간의 차이는 초기화에 의한 변동성에 비해 여전히 작았다.
• 결과적으로 z-점수 정규화만으로도 표준 알고리즘(예: k-평균, k-근접 이웃, 계층적 클러스터링)을 사용해 시계열 클러스터링에서 피어슨 상관계수를 효과적으로 유사도 측정 기준으로 활용할 수 있음을 지지한다.