[논문 리뷰] Towards a universal neural network encoder for time series

Joan Serrà, Santiago Pascual외 1명|arXiv (Cornell University)|2018. 05. 10.

Time Series Analysis and Forecasting참고 문헌 28인용 수 89

한 줄 요약

시간 시퀀스에 대한 컨볼루션 인코더와 시간 방향 어텐션 메커니즘이 보지 못한 데이터 타입에 일반화되는 고정 길이 표현을 학습하여 최소한의 적응으로도 경쟁력 있는 분류를 가능하게 한다. 사전 학습된 인코더는 간단한 분류기와 함께 사용할 수 있는 작고 빠른 표현을 제공한다.

ABSTRACT

We study the use of a time series encoder to learn representations that are useful on data set types with which it has not been trained on. The encoder is formed of a convolutional neural network whose temporal output is summarized by a convolutional attention mechanism. This way, we obtain a compact, fixed-length representation from longer, variable-length time series. We evaluate the performance of the proposed approach on a well-known time series classification benchmark, considering full adaptation, partial adaptation, and no adaptation of the encoder to the new data type. Results show that such strategies are competitive with the state-of-the-art, often outperforming conceptually-matching approaches. Besides accuracy scores, the facility of adaptation and the efficiency of pre-trained encoders make them an appealing option for the processing of scarcely- or non-labeled time series.

연구 동기 및 목표

• 변동 길이와 희소한 레이블을 가진 시간 시퀀스에 대한 표현 학습의 필요성을 제시한다.
• 전체 재학습 없이도 보지 못한 데이터 타입에 일반화되는 범용 인코더를 개발한다.
• 적응 전략(적응 없음, 부분적 적응, 전체 적응)을 평가한다.
• 표현 크기, 정확도 및 효율성 간의 trade-off를 평가한다.
• 대규모 시간 시퀀스 벤치마크에서 인코더 기반 방법과 최신 baselines를 비교한다.

제안 방법

• 세 개의 합성곱 블록과 두 개의 2-팩터 맥스풀링 계층을 갖춘 CNN 기반 인코더.
• 고정 길이 표현을 생성하기 위해 시간 방향 소프트맥스를 통해 필터의 절반에 걸친 어텐션 메커니즘.
• 학습 안정화를 위한 인스턴스 정규화 및 PReLU 활성화.
• k-차원 표현을 생성하는 최종 완전 연결 계층.
• 학습 중 각 데이터셋별 분류 헤드를 사용한 멀티헤드 학습으로 표현을 레이블에 매핑.
• 적응 시나리오를 달리한 평가: 적응 없음(표현에 대한 1NN), 매핑 적응(LR/SVM), 전체 적응(인코더 미세 조정).

실험 결과

연구 질문

• RQ1 여러 데이터셋에서 학습된 보편적 시간 시계열 인코더가 보지 못한 데이터 타입에 상당한 적응 없이 일반화할 수 있는가?
• RQ2 새로운 시간 시퀀스 데이터셋으로 표현을 전이할 때 서로 다른 적응 전략이 정확도에 어떻게 영향을 미치는가?
• RQ3 다양한 적응 체제 하에서 표현 크기(k)가 성능에 미치는 영향은 무엇인가?
• RQ4 Encoder 기반 표현이 UEA/UCR 벤치마크에서 최첨단 baselines와 비교해 경쟁력 있는 성능을 보여주는가?
• RQ5 학습된 표현이 1NN, LR, SVM과 같은 간단한 분류기와 함께 유용한가?

주요 결과

• 1NN, LR, 또는 SVM과 함께 사용된 인코더 기반 표현은 전통적인 거리 기반 베이스라인과 경쟁적이거나 이를 능가한다.
• 인코더의 적응(ADAPT)은 최첨단 방법과 경쟁력 있는 성능을 낸다, 종종 여러 베이스라인에 근접하거나 이를 능가한다.
• 사전 학습된 인코더(Encoder-NEW)는 대상 작업에서 처음부터 학습하는 것(Encoder-N EW)을 능가한다.
• 작은 고정 표현(k)은 노 적응(no-adaptation)과 매핑 적응(mapping adaptation)에서 성능 하락을 유발하지만, 전체 적응(full adaptation) 하에서는 영향이 제한적이다.
• Encoder-ADAPT와 Encoder-NEW는 COTE, HIVE-COTE 같은 앙상블 베이스라인과 비교하여도 강력한 성능을 제공하면서 학습 복잡성을 줄인다.
• 표현 크기: 전체 적응하에서 k를 증가시켜도 일관된 이득은 없지만, 노 적응이 사용될 때는 더 큰 k가 도움이 된다.