[논문 리뷰] Modeling Time Series Similarity with Siamese Recurrent Networks

Wenjie Pei, David M. J. Tax외 1명|arXiv (Cornell University)|2016. 03. 15.

Time Series Analysis and Forecasting참고 문헌 33인용 수 36

한 줄 요약

이 논문은 시간열의 유사도를 공동으로 훈련된 공유 순환망을 통해 쌍의 시간열을 벡터 표현으로 임bedding하는 데 중점을 두고, 유사도를 가중치가 부여된 내적을 통해 측정하는 지도 학습 기반 딥러닝 모델인 시앙세이 순환망(SRNs)을 제안한다. 이 모델은 클래스 조건부 지도 학습을 통해 구분력 있고 일반화 능력이 뛰어난 표현을 학습함으로써, 서명 및 음성 인식과 같은 소수의 예제로 학습하는(few-shot) 및 한 개의 예제로 학습하는(one-shot) 상황에서 성능을 크게 향상시키며, DTW와 같은 비지도 기반 기준 모델을 능가한다.

ABSTRACT

Traditional techniques for measuring similarities between time series are based on handcrafted similarity measures, whereas more recent learning-based approaches cannot exploit external supervision. We combine ideas from time-series modeling and metric learning, and study siamese recurrent networks (SRNs) that minimize a classification loss to learn a good similarity measure between time series. Specifically, our approach learns a vectorial representation for each time series in such a way that similar time series are modeled by similar representations, and dissimilar time series by dissimilar representations. Because it is a similarity prediction models, SRNs are particularly well-suited to challenging scenarios such as signature recognition, in which each person is a separate class and very few examples per class are available. We demonstrate the potential merits of SRNs in within-domain and out-of-domain classification experiments and in one-shot learning experiments on tasks such as signature, voice, and sign language recognition.

연구 동기 및 목표

• 수작업으로 만든 유사도 측정법과 비지도 학습 기반의 방법은 데이터 분포에 적응하거나 클래스 수준의 지도 학습 신호를 활용하지 못하므로, 이러한 한계를 해결하기 위해.
• 유사 쌍과 비유사 쌍의 지도 신호를 활용하여, 시간열 간의 전역적이고 공유되는 유사도 메트릭을 학습하는 딥러닝 모델을 개발하기 위해.
• 매우 적은 예제가 클래스당 존재하는 과도한 분류 및 한 번의 예제 학습과 같은 도전적인 상황에서 성능을 향상시키기 위해.
• 실제 작업인 서명, 음성 및 수어 인식에서 모델의 효과성을 입증하기 위해.

제안 방법

• 모델은 두 입력 시간열을 잠재 표현으로 변환하기 위해 공유된 순환 신경망 가중치를 사용하는 시앙세이 아키텍처를 사용한다.
• 각 시간열의 표현은 시간 단계 전역에서 최종 은닉 상태(SRN-L) 또는 모든 은닉 상태의 평균(SRN-A)을 통해 확보된다.
• 유사도 점수는 두 개의 학습된 표현 간의 가중치가 부여된 내적을 통해 계산된다.
• 모든 모델 파라미터는 유사 쌍을 가까이, 비유사 쌍을 멀리 떼는 대비 분류 손실을 최소화함으로써 엔드 투 엔드로 훈련된다.
• 모델은 유사 또는 비유사로 레이블이 지정된 시간열 쌍으로 훈련되어, 지도 신호를 통해 구분력 있는 유사도 메트릭을 학습할 수 있다.
• 다양한 데이터셋(MCYT(서명), 아랍어 음성, 수어)을 사용하여 평가되었으며, t-SNE 시각화와 분류 정확도를 활용하였다.

실험 결과

연구 질문

• RQ1 소수의 예제나 한 개의 예제로 학습하는 설정에서, 전통적인 비지도 방법인 DTW보다 효과적인 시간열 유사도 측정법을 지도 학습 기반 딥러닝 모델이 학습할 수 있는가?
• RQ2 클래스당 매우 적은 수의 훈련 예제가 존재할 때, 시앙세이 순환망은 얼마나 잘 일반화되는가?
• RQ3 모든 시간열에 대해 공유되고 전역적인 유사도 메트릭을 학습함으로써, 높은 클래스 다양성과 낮은 클래스당 샘플 수가 존재하는 작업에서 성능이 향상되는가?
• RQ4 시각화와 분류 결과를 통해, 학습된 표현이 시간열 간의 의미적 및 구조적 유사성을 얼마나 잘 포착하는가?

주요 결과

• 최종 은닉 상태를 표현으로 사용하는 SRN-L 버전은 전통적인 방법인 DTW보다 도메인 내 및 도메인 외 분류 작업에서 뛰어난 성능을 기록하였다.
• SRN-L 임베딩의 t-SNE 시각화 결과, 유사한 서명과 음성 발화가 일관되게 그룹화되어 의미적으로 유사한 시간열이 효과적으로 클러스터링되었음을 보여주었다.
• 한 번의 예제 학습 실험에서 SRN은 매우 제한된 클래스당 훈련 데이터로도 진위 서명을 효과적으로 구분하는 데 강력한 일반화 능력을 보였다.
• 특히 클래스 수준의 지도 학습이 관련 특징 학습에 핵심적인 역할을 하는 상황에서, DTW와 같은 비지도 기반 기준 모델보다 클러스터링 및 분류 성능에서 뛰어났다.
• t-SNE 맵는 SRN 임베딩이 서명의 펜 압력 변화나 음성 데이터의 발화자 신원과 같은 의미적이고 의미 있는 구조를 포착하고 있음을 보여주었으며, DTW는 같은 클래스의 샘플을 효과적으로 그룹화하지 못했다.
• 결과적으로, 시앙세이 순환망을 통한 시간열 유사도의 지도 학습은 비지도 또는 수작업 기반 접근법보다 더 나은 표현 학습을 가능하게 하며, 특히 데이터가 적은 환경에서 뛰어난 성능을 발휘한다.