[논문 리뷰] Utilizing Expert Features for Contrastive Learning of Time-Series Representations

Manuel Nonnenmacher, Lukas Oldenburg외 2명|arXiv (Cornell University)|2022. 06. 23.

Time Series Analysis and Forecasting인용 수 9

한 줄 요약

이 논문은 데이터 변환 대신 전문가 특징을 사용하여 시계열 표현을 학습하는 대비 학습 방법인 ExpCLR을 제안한다. 유사한 전문가 특징을 가진 샘플 간의 유사성과 거리가 먼 특징을 가진 샘플 간의 이질성을 강제하는 새로운 손실 함수를 설계함으로써, ExpCLR는 데이터 증강에 의존하지 않고도 세 가지 실세계 시계열 데이터셋에서 비지도 및 준지도 설정 모두에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

We present an approach that incorporates expert knowledge for time-series representation learning. Our method employs expert features to replace the commonly used data transformations in previous contrastive learning approaches. We do this since time-series data frequently stems from the industrial or medical field where expert features are often available from domain experts, while transformations are generally elusive for time-series data. We start by proposing two properties that useful time-series representations should fulfill and show that current representation learning approaches do not ensure these properties. We therefore devise ExpCLR, a novel contrastive learning approach built on an objective that utilizes expert features to encourage both properties for the learned representation. Finally, we demonstrate on three real-world time-series datasets that ExpCLR surpasses several state-of-the-art methods for both unsupervised and semi-supervised representation learning.

연구 동기 및 목표

• 시계열 대비 학습에서 효과적인 데이터 변환이 부족한 문제, 특히 산업 및 의료 분야에서 전문가 특징이 가용한 상황을 해결하기 위해.
• 전체 전문가 특징 기반 유용한 표현이 만족해야 할 두 가지 핵심 성질을 정의하기 위해: 유사한 전문가 특징에 대해서는 밀도, 이질적인 특징에 대해서는 분리.
• 연속적인 전문가 특징을 활용하여 이러한 성질을 강제하는 새로운 대비 손실 함수를 개발하여 강건한 표현 학습을 가능하게 하기 위해.
• ExpCLR가 비지도 및 준지도 시계열 표현 학습에서 최신 기준 방법들을 능가함을 입증하기 위해.
• 회귀 및 비시계열 작업을 포함한 모든 전문가 특징이 존재하는 데이터셋에 일반적으로 적용 가능한 방법을 제공하기 위해.

제안 방법

• 유용한 표현을 위한 두 가지 핵심 성질을 도입함: (1) 유사한 전문가 특징은 가까운 표현을 생성해야 하며, (2) 이질적인 전문가 특징은 먼 표현을 생성해야 한다.
• 기존의 데이터 증강 기반 양성 쌍 대신 전문가 특징 간의 이차 유사도 측정을 사용하여 양성 쌍을 정의하는 새로운 대비 손실 함수를 제안함.
• 온도 조정 기반 대비 손실과 하드 네거티브 마이닝을 활용하여 표현 품질을 향상시킴. MoCo와 SimCLR의 영감을 받았지만 전문가 특징에 맞게 조정됨.
• SimCLR와 유사하게 모멘타ム 에너지와 인스턴스 식별을 사용하여 학습을 안정화함. 다만 증강이 아닌 전문가 특징을 지도 신호로 사용함.
• 비지도 및 준지도 설정 모두에 적용하여, 일부 레이블 데이터로 미세조정하여 레이블 효율성을 평가함.
• 전체 전문가 특징의 제곱 차이를 기반으로 한 유사도 측정을 사용하여, 손실 함수가 미분 가능하고 연속적 레이블에 적합함.

실험 결과

연구 질문

• RQ1 시계열 데이터에 대한 대비 학습에서 전문가 특징을 효과적으로 지도 신호로 사용할 수 있는가? 특히 데이터 변환을 대체할 수 있는가?
• RQ2 전문가 특징 기반으로 학습된 표현은 유사한 특징에 대해 밀도, 이질적인 특징에 대해선 분리 성질을 만족하는가?
• RQ3 ExpCLR는 비지도 및 준지도 시계열 표현 학습에서 최신 기준 대비 학습 방법들과 비교해 성능 면에서 어떻게 성과를 내는가?
• RQ4 특히 레이블의 일부분만 이용할 경우, ExpCLR는 기존 방법보다 더 뛰어난 레이블 효율성을 달성하는가?
• RQ5 제안된 손실 함수는 시계열 데이터 외의 분야, 특히 전문가 특징이 존재하는 분야로 일반화될 수 있는가?

주요 결과

• ExpCLR는 HAR, SleepEDF, Waveform 데이터셋에서 비지도 및 준지도 설정 모두에서 모든 레이블 비율에서 모든 경쟁 방법들을 능가한다.
• 단지 20%의 레이블 데이터만 사용할 경우, ExpCLR(준지도)는 HAR 및 SleepEDF 데이터셋에서 다른 방법들이 100% 레이블을 사용한 경우조차도 모두 앞선다.
• 오직 5%의 레이블 데이터만 사용할 경우 ExpCLR는 성능 저하가 3.5% 미만으로 유지되며, 반면 지도적 교차 엔트로피 사전학습은 동일 조건에서 17.5% 이상 성능 저하를 보인다.
• 절단형 유사도 측정(식 5)이 이전 연구에서 사용된 선형 유사도 및 가우시안 유사도보다 우수한 성능을 보였으며, 이는 분석 실험에서 입증됨.
• 감소하는 온도 τ를 사용한 하드 네거티브 마이닝은 성능 향상에 기여하며, τ가 증가함에 따라 비하드 마이닝 기반 베이스라인으로 수렴함으로써 이론적 분석의 타당성을 검증함.
• 초기화 조정에 대해 강건한 성능을 보이며, 분석 실험에서 다양한 임bedding 차원, 배치 크기, Δ 값에서도 안정적인 성능을 유지함.