[논문 리뷰] Self-Supervised Time Series Representation Learning by Inter-Intra Relational Reasoning

Haoyi Fan, Fengbin Zhang외 1명|arXiv (Cornell University)|2020. 11. 27.

Time Series Analysis and Forecasting참고 문헌 52인용 수 23

한 줄 요약

SelfTime는 시간 시리즈의 전역적이고 국소적인 구조적 패턴을 포착하기 위해 샘플 간 관계와 내부 시간적 관계를 동시에 모델링하는 자기지도 학습 시간 시리즈 표현 학습 프레임워크를 제안한다. 샘플링된 양성/음성 샘플에 대한 관계 추론과 다중 척도 시간 조각 관계를 활용함으로써, 다양한 시간 시리즈 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 전이 학습 설정에서 이전 방법들보다 최대 20.2% 향상된다.

ABSTRACT

Self-supervised learning achieves superior performance in many domains by extracting useful representations from the unlabeled data. However, most of traditional self-supervised methods mainly focus on exploring the inter-sample structure while less efforts have been concentrated on the underlying intra-temporal structure, which is important for time series data. In this paper, we present SelfTime: a general self-supervised time series representation learning framework, by exploring the inter-sample relation and intra-temporal relation of time series to learn the underlying structure feature on the unlabeled time series. Specifically, we first generate the inter-sample relation by sampling positive and negative samples of a given anchor sample, and intra-temporal relation by sampling time pieces from this anchor. Then, based on the sampled relation, a shared feature extraction backbone combined with two separate relation reasoning heads are employed to quantify the relationships of the sample pairs for inter-sample relation reasoning, and the relationships of the time piece pairs for intra-temporal relation reasoning, respectively. Finally, the useful representations of time series are extracted from the backbone under the supervision of relation reasoning heads. Experimental results on multiple real-world time series datasets for time series classification task demonstrate the effectiveness of the proposed method. Code and data are publicly available at https://haoyfan.github.io/.

연구 동기 및 목표

• 기존 자기지도 학습 방법이 주로 샘플 간 구조에 집중하면서 시간 시리즈 내의 내부 시간적 의존성을 간과하는 한계를 해결하기 위해.
• 비라벨 시간 시리즈에서 전역적 샘플 수준의 구조적 패턴과 국소적 시간 수준의 구조적 패턴을 모두 포착할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 다중 수준의 관계 구조에 기반한 사전 과제를 설계하여 표현 학습을 향상시키기 위해.
• 다양한 실세계 시간 시리즈 데이터셋에서 학습된 표현의 전이 가능성과 강건성 평가하기 위해.

제안 방법

• 프레임워크는 시간 시리즈 입력과 그 증강된 뷰로부터 특징을 추출하기 위해 공유 백본 네트워크를 사용한다.
• 기본 샘플(앵커)에 대해 양성(증강 뷰) 및 음성(거리가 먼 샘플) 쌍을 샘플링하여 샘플 간 관계를 모델링한다.
• 동일한 앵커에서 시간 조각 세그먼트를 샘플링하여 내부 시간적 관계를 캡처하고, 시간적 거리에 기반한 다중 척도 시간 관계를 구성한다.
• 두 개의 전용 관계 추론 헤드를 사용한다: 하나는 샘플 간 유사도를 측정하고, 다른 하나는 내부 시간적 패턴 추론을 수행한다.
• 공유 백본에서 추출된 표현을 기반으로, 관계 예측을 최적화하기 위해 대비 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 다중 척도 시간 관계 샘플링 전략을 통해 짧은, 중간, 긴 기간의 시간 의존성을 모두 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 샘플 간 관계와 내부 시간적 관계를 동시에 모델링하면 자기지도 학습 시간 시리즈 표현 학습 성능이 향상되는가?
• RQ2 다중 척도 시간 관계의 포함 여부가 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 다양한 시간 시리즈 도메인에 일반화되며 기존 자기지도 기반 방법을 초월하는가?
• RQ4 학습된 표현이 라벨이 제한된 데이터로 구성된 하류 분류 작업에 얼마나 잘 전이되는가?
• RQ5 다양한 데이터 증강 및 관계 샘플링 전략이 최종 성능에 어떤 영향을 미치는가?

주요 결과

• SelfTime는 다양한 시간 시리즈 분류 벤치마크에서 새로운 최신 기술 수준의 성능을 달성하며, 기존 자기지도 학습 방법들을 능가한다.
• IWS → DLD 전이 작업에서 SelfTime는 Deep InfoMax보다 20.2% 향상되었고, Relation보다 6.81% 향상되었다.
• UGLA → CricketX 전이 설정에서 SelfTime는 Relation보다 4.73% 향상되었고, Deep InfoMax보다 9.06% 향상되었다.
• t-SNE 시각화 결과 SelfTime는 베이스라인 대비 더 의미적으로 일관되고 잘 군집화된 표현을 학습하는 것으로 확인되었다.
• 이 방법은 강력한 전이 가능성과 모든 평가된 소스-타겟 도메인 전이 시나리오에서 일관된 성능 향상을 보였다.
• 제거 실험 결과, 샘플 간 및 내부 시간적 관계 추론 모두 성능 향상에 기여하며, 특히 국소적 시간 패턴을 포착하는 데 있어 후자가 특히 효과적인 것으로 확인되었다.