[논문 리뷰] Learning Interpretable Shapelets for Time Series Classification through Adversarial Regularization

Yichang Wang, Rémi Emonet외 5명|arXiv (Cornell University)|2019. 06. 03.

Time Series Analysis and Forecasting참고 문헌 23인용 수 8

한 줄 요약

이 논문은 학습 데이터에서 실제 부분 서열과 유사한 형태의 형태를 학습하도록 모델을 제약하는 방식으로 시간 시리즈 분류를 위한 해석 가능한 형태셋을 학습하는 적대적 정규화를 적용한 1차원 합성곱 신경망(AI↔PR-CNN)을 제안한다. 이 방법은 최고 수준의 분류 정확도를 달성하면서도 형태셋이 의미적으로 유의미하고 모델 예측을 직접 설명할 수 있도록 보장한다.

ABSTRACT

Times series classification can be successfully tackled by jointly learning a shapelet-based representation of the series in the dataset and classifying the series according to this representation. However, although the learned shapelets are discriminative, they are not always similar to pieces of a real series in the dataset. This makes it difficult to interpret the decision, i.e. difficult to analyze if there are particular behaviors in a series that triggered the decision. In this paper, we make use of a simple convolutional network to tackle the time series classification task and we introduce an adversarial regularization to constrain the model to learn more interpretable shapelets. Our classification results on all the usual time series benchmarks are comparable with the results obtained by similar state-of-the-art algorithms but our adversarially regularized method learns shapelets that are, by design, interpretable.

연구 동기 및 목표

• 딥 러닝 기반 시간 시리즈 분류에서 학습된 형태셋이 실제 데이터 패턴과 유사하지 않은 경향이 있어 해석이 어려운 문제를 해결한다.
• 분류 성능을 저하시키지 않으면서도 학습 데이터의 실제 부분 서열과 유사한 형태셋을 강제로 학습시킴으로써 모델의 해석 가능성을 향상시킨다.
• 학습된 형태셋이 동시에 분류 능력이 뛰어나고 의미적으로 해석 가능한 방식으로 유도하는 새로운 적대적 정규화 메커니즘을 개발한다.
• 기존 형태셋 기반 방법들과 비교해 본 방법이 경쟁력 있는 정확도를 유지하면서도 모델 결정의 해석 가능성을 크게 향상시킴을 입증한다.

제안 방법

• 시간 시리즈에서 특징을 추출하기 위해 단순한 1차원 합성곱 신경망(CNN)을 분류기 헤드로 사용한다.
• 실제 시간 시리즈 부분 서열과 분류기가 학습한 형태셋을 구분하는 디스크림네이터 네트워크를 도입한다.
• 분류기가 디스크림네이터를 속이도록 하는 방식으로 적대적 정규화를 적용함으로써, 형태셋이 실제 데이터 조각과 유사하도록 유도한다.
• 분류 손실 최소화와 함께 생성된 형태셋을 탐지하는 데서 디스크림네이터의 성능을 극대화하는 공동 목적 함수를 최적화함으로써 더 현실적인 형태셋을 유도한다.
• 분류 정확도와 적대적 일致성 간의 균형을 고려한 복합 손실 함수를 사용해 백프로파게이션을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 생성자(분류기)가 형태셋을 학습하고 디스크림네이터가 그 실재성 여부를 평가하는 이중 스트림 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 적대적 정규화가 딥 러닝 모델이 분류 능력이 뛰어나고 해석 가능한 형태셋을 학습하도록 효과적으로 이끌 수 있는가?
• RQ2 제안된 방법은 최고 수준의 형태셋 기반 모델들과 비교해 분류 정확도를 어느 정도 유지하는가?
• RQ3 학습된 형태셋은 훈련 데이터의 실제 부분 서열과 시각적·구조적으로 얼마나 유사한가?
• RQ4 적대적 정규화 메커니즘이 의미적으로 더 유의미하고 인간이 이해하기 쉬운 형태셋을 도출하는가?
• RQ5 대규모 시간 시리즈 데이터셋에 대해 이 방법이 효율적으로 확장 가능하며 해석 가능성과 성능을 유지할 수 있는가?

주요 결과

• 제안된 AI↔PR-CNN 방법은 UCR/UEA 벤치마크 세트에서 Learning Shapelets(LS) 및 Fast Shapelets(FS)와 같은 최고 수준의 방법들과 비교해 유사한 분류 정확도를 달성한다.
• ElectricDevices 데이터셋에서 모델 훈련에 142분이 소요되었으며, 원본 구현 기준 LS(2323분)보다 빠르고 재구현된 LS 버전(71분)과도 유사한 성능을 보여, 적절한 최적화를 통해 훈련 효율성이 크게 향상됨을 시사한다.
• 제안된 방법이 학습한 형태셋은 훈련 데이터의 실제 부분 서열과 시각적으로 유사하여 모델 예측의 직접적인 해석이 가능하다.
• 적대적 정규화가 형태셋이 분류 능력뿐 아니라 의미적으로 해석 가능한 유의미한 패턴을 학습하도록 효과적으로 유도함을 입증한다.
• 이론적 복잡도는 LS와 동일한 $O(n \times T^2 \times c)$를 유지하지만, 훈련 효율성과 해석 가능성 측면에서 뚜렷한 향상이 있다.
• 결과적으로 모델 정확도와 해석 가능성 사이의 우수한 트레이드오프를 보이며, 형태셋을 시간 시리즈의 특정 행동과 직접 연결해 설명할 수 있음을 입증한다.