[논문 리뷰] Channel masking for multivariate time series shapelets

Dripta S. Raychaudhuri, Josif Grabocka외 1명|arXiv (Cornell University)|2017. 11. 02.

Time Series Analysis and Forecasting참고 문헌 3인용 수 5

한 줄 요약

이 논문은 다변량 시계열 시형상자에 대한 채널 마스킹을 제안하며, 잡음이 있는 채널을 억제하고 분류 정확도를 향상시키기 위해 학습 가능한 마스크를 도입한다. 종단 간 학습을 통해 형태소와 채널 마스크를 동시에 최적화함으로써, 9개의 실세계 데이터셋 중 6개에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기준 형태소 학습 및 SMTS와 같은 기존 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Time series shapelets are discriminative sub-sequences and their similarity to time series can be used for time series classification. Initial shapelet extraction algorithms searched shapelets by complete enumeration of all possible data sub-sequences. Research on shapelets for univariate time series proposed a mechanism called shapelet learning which parameterizes the shapelets and learns them jointly with a prediction model in an optimization procedure. Trivial extension of this method to multivariate time series does not yield very good results due to the presence of noisy channels which lead to overfitting. In this paper we propose a shapelet learning scheme for multivariate time series in which we introduce channel masks to discount noisy channels and serve as an implicit regularization.

연구 동기 및 목표

• 잡음이 있는 채널으로 인해 발생하는 과적합 문제를 다변량 시계열 형태소 학습에서 해결하기 위해.
• 형태소 학습 과정에서 정보가 없는 채널을 자동으로 식별하고 가중치를 낮추는 방법을 개발하기 위해.
• 일변량 형태소 학습 프레임워크를 채널 마스크를 통한 암묵적 정규화로 다변량 시계열에 확장하기 위해.
• 특징의 관련성을 반영하는 채널별 가중치를 학습하여 분류 정확도를 향상시키기 위해.

제안 방법

• 각 형태소 $k$ 와 채널 $v$ 에 대해 학습 가능한 채널 마스크 $\mu_{k,v}$ 를 도입하여, 거리 계산 과정에서 각 채널의 기여도를 조정한다.
• 마스크 값이 음수가 되지 않도록 비선형성으로 ReLU 활성화 함수를 적용하여 학습 가능한 비음수 가중치를 보장하며, 1을 초과할 수 있도록 하여 분류 능력을 향상시킨다.
• 형태소와 마스크를 유연한 손실 함수를 통해 동시에 최적화하여, 경사 하강법을 사용한 종단 간 학습이 가능하도록 한다.
• 슬라이딩 윈도우 방식을 사용하여 각 시계열과 형태소 간 최소 거리를 계산하며, 마스킹된 채널 기여도를 포함한다.
• 형태소 파라미터에 L2 정규화를 적용하고, 마스크 가중치에 별도의 정규화 항 $\lambda_W$ 를 도입하여 과적합을 방지한다.
• 학습 데이터에서 5겹 교차 검증을 수행한 그리드 서치를 통해 하이퍼파라미터 튜닝을 실시하며, $K$ (형태소 수), $\lambda_W$, 고정된 학습률 $\eta=0.1$ 을 선택한다.

실험 결과

연구 질문

• RQ1 학습 가능한 채널 마스크가 잡음이 있는 채널의 영향을 줄임으로써 다변량 시계열 형태소 학습의 성능을 향상시킬 수 있는가?
• RQ2 표준 형태소 학습 및 SMTS와 같은 최신 기술 수준의 방법과 비교해 채널 마스킹은 다변량 시계열 분류에서 어떻게 성능을 냈는가?
• RQ3 활성화 함수의 선택(시그모이드 대비 ReLU)이 마스킹 메커니즘의 성능에 뚜렷한 영향을 미치는가?
• RQ4 제안된 방법은 정보가 없는 채널을 자동으로 식별하고 억제하면서도 유의미한 채널은 강화할 수 있는가?

주요 결과

• 마스크 가중치에 대해 ReLU 활성화 함수가 시그모이드보다 우수한 성능을 보였으며, 더 넓은 동적 범위를 제공하고 정보가 많은 채널과 잡음 채널 간의 구분을 더 잘 할 수 있었다.
• 합성 데이터셋에서 채널 마스크는 첫 두 정보가 많은 채널에 높은 가중치를 할당하고 나머지 38개의 잡음 채널에는 낮은 가중치를 할당하는 것을 성공적으로 학습하였다.
• 모든 9개의 실세계 데이터셋에서 마스킹된 형태소 방법은 기준 형태소 방법보다 낮은 오차율을 기록하여 일관된 성능 향상을 입증하였다.
• Wafer 데이터셋을 제외한 9개의 데이터셋 중 6개에서 SMTS 최신 기술 수준 방법을 능가하였으며, ECG(0.110 vs. 0.182), LIBRAS(0.111 vs. 0.177), uWave(0.071 vs. 0.100) 에서는 뚜렷한 성능 향상을 보였다.
• Wafer 데이터셋에서는 마스킹 방법이 0.014의 오차율을 기록하여 기준 형태소 방법(0.019)과 SMTS(0.035)를 모두 앞섰다.
• 손글씨, 동작, 제스처, 음성 인식 등 다양한 도메인에서의 성능을 통해 일반화 능력이 뛰어나다는 점을 확인하였다.