[논문 리뷰] Autowarp: Learning a Warping Distance from Unlabeled Time Series Using Sequence Autoencoders

Abubakar Abid, James Zou|arXiv (Cornell University)|2018. 10. 23.

Time Series Analysis and Forecasting참고 문헌 20인용 수 7

한 줄 요약

Autowarp는 시퀀스 오토인코더를 사용하여 레이블이 없는 시계열 데이터로부터 미분 가능한 워핑 거리 함수를 엔드 투 엔드로 학습하는 방법을 제안한다. 학습된 잠재 표현과 일치하는 매개변수화된 워핑 거리 가족을 최적화함으로써, Autowarp는 DTW나 EDR와 같은 수작업으로 설계된 거리 측정법보다도 더 뛰어난 강건성과 성능을 달성한다. 특히 복잡한 노이즈 조건에서 뛰어난 성능을 보인다.

ABSTRACT

Measuring similarities between unlabeled time series trajectories is an important problem in domains as diverse as medicine, astronomy, finance, and computer vision. It is often unclear what is the appropriate metric to use because of the complex nature of noise in the trajectories (e.g. different sampling rates or outliers). Domain experts typically hand-craft or manually select a specific metric, such as dynamic time warping (DTW), to apply on their data. In this paper, we propose Autowarp, an end-to-end algorithm that optimizes and learns a good metric given unlabeled trajectories. We define a flexible and differentiable family of warping metrics, which encompasses common metrics such as DTW, Euclidean, and edit distance. Autowarp then leverages the representation power of sequence autoencoders to optimize for a member of this warping distance family. The output is a metric which is easy to interpret and can be robustly learned from relatively few trajectories. In systematic experiments across different domains, we show that Autowarp often outperforms hand-crafted trajectory similarity metrics.

연구 동기 및 목표

• 샘플링 속도의 차이, 이상치 등 노이즈와 변동성이 존재할 경우, 전통적인 거리 측정법이 복잡해지는 레이블이 없는 시계열 데이터에 적절한 유사도 측정법을 선택하는 데 도전한다.
• DTW, EDR, LCSS와 같은 수작업으로 설계된 측정법은 다양한 노이즈 조건에서 실패할 수 있으며, 데이터셋 간 일반화 능력이 떨어지는 한계를 극복한다.
• 레이블이나 사전 클러스터 지식이 필요 없이, 레이블이 없는 궤적에서 직접 의미 있는 해석 가능한 워핑 거리를 학습하는 엔드 투 엔드이고, 미분 가능한 프레임워크를 개발한다.
• 학습된 거리가 데이터의 내재된 구조를 반영하도록 하여, 클러스터링, 시각화, 최근접 이웃 검색과 같은 후속 작업을 효과적으로 수행할 수 있도록 한다.

제안 방법

• 학습 가능한 매개변수(α, γ, ε)를 통해 DTW, 유클리드 거리, 에디트 거리와 같은 일반적인 측정법을 일반화하는 유연하고 미분 가능한 워핑 거리 가족을 정의한다.
• 시계열 궤적의 압축되고 의미 있는 잠재 표현을 학습하기 위해 순차적 시퀀스 오토인코더를 훈련한다.
• 학습된 잠재 표현과 원래 공간에서 유도된 거리 간의 격차를 최소화함으로써 워핑 거리의 매개변수를 최적화한다.
• 배치 경사 하강법을 사용하여 오토인코더와 워핑 거리를 동시에 훈련함으로써, backpropagation을 통한 엔드 투 엔드 최적화를 가능하게 한다.
• 오토인코더의 잠재 공간을 감독 신호로 활용하여 워핑 거리를 정규화함으로써, 진정한 구조적 유사성을 반영하도록 보장한다.
• 매개변수화된 워핑 가족을 통해 O(SN²) 시간 내에 배치 기반 기울기 업데이트를 가능하게 하여 계산 효율성을 확보하며, FastDTW 방식의 근사 기법을 통해 추가 가속화가 가능하다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 레이블이 없는 시계열 데이터에 적용했을 때, 학습된 워핑 거리가 DTW나 EDR와 같은 수작업으로 설계된 측정법을 초월할 수 있는가?
• RQ2 오토인코더로 학습한 표현과 미분 가능한 워핑 거리 가족의 조합이 레이블이 없을 때 유사도 학습에 얼마나 기여하는가?
• RQ3 다양한 노이즈 유형(예: 가우시안 노이즈, 이상치, 샘플링 속도 변화)에 대해 학습된 거리 측정법은 도메인 특화 측정법보다 얼마나 강건한가?
• RQ4 오토인코더 표현을 워핑 거리 학습 과정에 통합함으로써, 오토인코더만 사용했을 때보다 더 나은 클러스터링 및 최근접 이웃 성능을 달성할 수 있는가?
• RQ5 특정 작업에 맞게 튜닝하지 않고도, 제스처 인식, 이동성 데이터, 의료 궤적과 같은 다양한 도메인으로 일반화 가능한가?

주요 결과

• Autowarp는 ASL 및 Taxicab Mobility 데이터셋에서 EDR 및 SSPD와 같은 수작업으로 설계된 측정법보다 성능이 뛰어나며, 특히 다중 노이즈 원인이 복합적으로 작용하는 하이브리드 노이즈 조건에서 뛰어난 성능을 보였다.
• ASL 데이터셋에서, 'Hybrid1'(가우시안 노이즈 + 이상치) 및 'Hybrid2'(가우시안 노이즈 + 샘플링 노이즈) 노이즈 설정 모두에서 학습된 거리 측정법이 EDR보다 더 높은 정확도를 달성했다.
• 50개의 궤적과 5개의 시드 패턴을 가진 합성 데이터에서 MDS를 통해 원래의 클러스터를 성공적으로 복원했으며, 유클리드 거리나 오토인코더 전용 접근법보다 뛰어난 성능을 보였다.
• 깊은 오토인코더만으로는 유용한 유사도 측정법을 학습하지 못했으며, 이는 워핑 거리 정규화가 효과적인 거리 측정법 학습에 필수적임을 시사한다.
• ASL 데이터셋에서 학습된 워핑 거리 매개변수(α=0.29, γ=0.22, ε=0.48)는 시간적 이동과 진폭 변화에 대한 강건성과 민감성 사이의 균형을 반영한다.
• 데이터의 구조에 대한 사전 지식 없이도, Taxicab Mobility 데이터셋에서 SSPD와 같은 특정 도메인에 최적화된 측정법과 유사하거나 더 뛰어난 성능을 달성했다.