[논문 리뷰] Hierarchical Clustering using Auto-encoded Compact Representation for Time-series Analysis

Soma Bandyopadhyay, Anish Datta외 1명|arXiv (Cornell University)|2021. 01. 11.

Time Series Analysis and Forecasting참고 문헌 13인용 수 4

한 줄 요약

이 논문은 시간열에 대한 계층적 군집화 방법인 HC-AECS를 제안한다. 이 방법은 순차적에서 순차적(autoencoder)을 사용하여 압축된 잠재 표현(AECS)을 학습함으로써 계산 비용을 크게 감소시키면서도 군집 성능을 향상시킨다. 이 방법은 최적화된 거리 측정법(체비셰프, 맨하탄, 마할라노비스)을 사용한 적대적 계층 군집화를 적용하고, 수정된 투버트 통계량을 사용하여 최적의 군집을 선택한다. 이는 단변량 및 다변량 시간열 데이터셋에서 최신 기술을 초월하며, DTW 기반 대안 대비 최대 47배 빠른 계산 속도를 보인다.

ABSTRACT

Getting a robust time-series clustering with best choice of distance measure and appropriate representation is always a challenge. We propose a novel mechanism to identify the clusters combining learned compact representation of time-series, Auto Encoded Compact Sequence (AECS) and hierarchical clustering approach. Proposed algorithm aims to address the large computing time issue of hierarchical clustering as learned latent representation AECS has a length much less than the original length of time-series and at the same time want to enhance its performance.Our algorithm exploits Recurrent Neural Network (RNN) based under complete Sequence to Sequence(seq2seq) autoencoder and agglomerative hierarchical clustering with a choice of best distance measure to recommend the best clustering. Our scheme selects the best distance measure and corresponding clustering for both univariate and multivariate time-series. We have experimented with real-world time-series from UCR and UCI archive taken from diverse application domains like health, smart-city, manufacturing etc. Experimental results show that proposed method not only produce close to benchmark results but also in some cases outperform the benchmark.

연구 동기 및 목표

• 긴 시간열에 대한 계층 군집화의 높은 계산 비용 문제를 해결하기 위해 압축된 잠재 표현을 학습함으로써 해결한다.
• 최적의 거리 측정법을 사용한 자동에코드 기반 표현 학습과 계층 군집화를 융합하여 군집 성능을 향상시킨다.
• 기존 최신 기술이 단변량 사례에 국한되어 있는 것과는 달리, 단변량 및 다변량 시간열 모두에 효과적인 군집화를 가능하게 한다.
• 수정된 투버트 통계량을 사용한 내부 검증 메커니즘을 개발하여 지도 없는 상황에서 최적의 거리 측정법과 군집 구성 설정을 자동으로 선택한다.
• 의료, 제조, 스마트시티 분야의 다양한 실제 시간열 데이터에 대해 강건성과 효율성을 입증한다.

제안 방법

• 깊이 있는, 과소완전한 순차적에서 순차적 자동에코더(Seq2Seq AE)를 사용하여 시간열의 압축된 잠재 표현(AECS)을 학습함으로써 시퀀스 길이를 크게 감소시킨다.
• 학습된 AECS 표현에 대해 계층 군집화를 적용하여 계산 복잡도를 감소시킨 군집을 형성한다.
• 세 가지 거리 측정법을 사용하여 군집을 평가한다: 체비셰프(CH), 맨하탄(MA), 마할라노비스(ML), ML은 유일하게 내부 검증에 사용된다.
• 수정된 투버트 통계량(𝒯)을 내부 군집 검증 측정법으로 사용하여 최적의 거리 측정법과 해당 군집 구성 설정을 선택한다.
• 재구성 손실을 사용하여 자동에코더를 종합적으로 훈련시켜 압축된 잠재 공간에 필수적인 시간열 패턴을 유지한다.
• 전체 파ip라인을 통합된 프레임워크로 통합하여 𝒯 기반으로 최적의 군집을 선택함으로써 다양한 데이터셋에 걸쳐 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 순차적에서 순차적 자동에코더로부터 학습된 압축 표현은 긴 시간열에 대한 계층 군집화의 효율성과 성능을 향상시킬 수 있는가?
• RQ2 자동에코딩된 시간열 표현에 적용했을 때, 체비셰프, 맨하탄, 마할라노비스 중 어떤 거리 측정법이 가장 일관되고 잘 분리된 군집을 도출하는가?
• RQ3 제안된 HC-AECS 방법은 K-Shape 및 HC-DDTW와 같은 최신 기술 대비 단변량 및 다변량 시간열에서 군집 정확도와 계산 효율성 면에서 어떻게 비교되는가?
• RQ4 수정된 투버트 통계량은 지도 없는 상황에서 최적의 거리 측정법을 선택하는 데 효과적으로 기여할 수 있는가?
• RQ5 의료 및 산업용 IoT 애플리케이션과 같은 고시퀀스 길이의 실제 시간열 데이터에 대해 이 방법은 어느 정도 확장 가능한가?

주요 결과

• HC-AECS는 UCR 아카이브의 9개 단변량 시간열 데이터셋 중 7개에서 벤치마크인 HC-DDTW 방법을 능가하며, HC-DDTW 대비 계산 시간을 27배 감소시켰다.
• 다변량 시간열에서는 최신 기술인 MLSTM-FCN 모델을 크게 능가하여 Wafer 데이터셋에서 0.929의 정확도를 기록한 반면, MLSTM-FCN은 0.906의 정확도를 기록했다.
• Coffee(286단계), Beef(470단계)와 같은 긴 시퀀스에서는 K-Shape가 단변량 데이터에 국한되어 있음에도 불구하고, HC-AECS가 각각 16배, 18배 더 빠른 속도를 기록했다.
• Adiac 데이터셋에서 HC-AECS는 HC-DDTW 대비 47배의 속도 향상을 보이며, 시퀀스 길이 증가에 따른 강력한 확장성을 입증했다.
• 수정된 투버트 통계량 평가에서 마할라노비스 거리의 사용은 새로운 기여로 군집 품질을 향상시키고 효과적인 내부 검증을 가능하게 했다.
• ECG200, FordB, Wafer 등의 다양한 데이터셋에서 K-Shape 및 HC-DDTW와 비교해 경쟁력 있거나 우수한 랜드 인덱스(RI) 점수를 기록하여, 본 방법의 강건성과 일반화 능력을 확인했다.