[논문 리뷰] Computer Vision Self-supervised Learning Methods on Time Series

Dae-Soo Lee, Erlend Aune|arXiv (Cornell University)|2021. 09. 02.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

이 논문은 시계열 데이터에 대해 컴퓨터 비전 자기지도 학습(SSL) 방법—특히 시앙세 기반 프레임워크인 VICReg를 평가하며, UCR 및 UEA 벤치마크에서의 효과성을 입증한다. 개선된 SSL 방법인 VIbCReg를 제안하여 공분산 정규화를 강화하고 반복적 정규화 헤드를 추가함으로써 수렴 속도를 가속화하고 표현 품질을 향상시킨다.

ABSTRACT

Self-supervised learning (SSL) has had great success in both computer vision. Most of the current mainstream computer vision SSL frameworks are based on Siamese network architecture. These approaches often rely on cleverly crafted loss functions and training setups to avoid feature collapse. In this study, we evaluate if those computer-vision SSL frameworks are also effective on a different modality ( extit{i.e.,} time series). The effectiveness is experimented and evaluated on the UCR and UEA archives, and we show that the computer vision SSL frameworks can be effective even for time series. In addition, we propose a new method that improves on the recently proposed VICReg method. Our method improves on a extit{covariance} term proposed in VICReg, and in addition we augment the head of the architecture by an iterative normalization layer that accelerates the convergence of the model.

연구 동기 및 목표

• 주류 컴퓨터 비전 자기지도 학습(SSL) 프레임워크가 시계열 데이터에 효과적인지 조사하기 위해.
• 산업, 금융, 사회적 응용 분야에서 널리 사용되지만, 시계열 분야에서 SSL에 대한 관심이 부족한 점을 해결하기 위해.
• VICReg 방법을 공분산 정규화 및 모델 수렴을 향상시켜 개선하기 위해.
• 선형 평가, 미세조정 및 SVM 기반 평가를 통해 표준 시계열 벤치마크에서 제안된 방법을 검증하기 위해.
• FD 및 FcE 지표를 사용하여 학습 중 특징의 독립성과 구성 요소의 표현 능력을 분석하기 위해.

제안 방법

• 랜덤 컷, 랜덤 앰플리튜드 리사이징, 랜덤 수직 이동 등의 데이터 증강 기법을 적용하여 시앙세 네트워크 기반 SSL 프레임워크(SimCLR, BYOL, SimSiam, Barlow Twins, VICReg)를 시계열 데이터에 적응시킴.
• 공분산 정규화 항을 개선하고 프로젝션 헤드에 반복적 정규화 레이어를 도입하여 수렴 속도를 가속화하는 VIbCReg를 제안함. 이는 VICReg의 개선된 버전임.
• 랜덤 컷(두 가지 다른 컷 길이: 50% 및 100%)과 랜덤 앰플리튜드 리사이징(정규분포 승수 αrar = 0.1, 부분-2에서 사용)을 포함한 데이터 증강 전략을 활용함.
• 동일한 시계열에서 생성된 다중 뷰에 대해 불변성, 분산 및 공분산 정규화를 기반으로 한 대비 손실 함수를 사용함.
• 학습 중에 얻은 표현 품질을 모니터링하기 위해 FD(특징 독립성) 및 FcE(특징 구성 요소 표현 능력) 지표를 도입함.
• 학습의 안정성과 수렴 속도를 향상시키기 위해 반복적 정규화를 갖춘 프로젝터 헤드를 적용함으로써 특징 학습의 강건성을 향상시킴.

실험 결과

연구 질문

• RQ1 원래 이미지용으로 설계된 주류 컴퓨터 비전 SSL 프레임워크가 시계열 데이터에 효과적으로 적용될 수 있는가?
• RQ2 UCR 및 UEA 시계열 벤치마크에서 대비 기반 vs 비대비 기반 SSL 프레임워크의 성능은 어떻게 다른가?
• RQ3 VICReg 프레임워크를 공분산 정규화 및 아키텍처를 개선하여 시계열에 최적화할 수 있는가?
• RQ4 프로젝션 헤드에 반복적 정규화 레이어를 추가하면 수렴 속도가 가속되고 표현 품질이 향상되는가?
• RQ5 FD 및 FcE 지표가 시계열 분류 작업의 최종 성능과 얼마나 관련이 깊은가?

주요 결과

• 컴퓨터 비전 SSL 프레임워크, 특히 VICReg는 시계열 데이터에서 효과적이며, UCR 및 UEA 벤치마크에서 뛰어난 성능을 기록함.
• VIbCReg는 VICReg보다 더 빠른 수렴 속도를 보이며 더 뛰어난 성능을 달성함. FD 지표가 거의 0에 수렴하여 효과적인 특징 독립성이 입증됨.
• VIbCReg의 FcE 지표는 빠르게 1에 수렴하여 학습 전반에 걸쳐 강력한 특징 구성 요소 표현 능력을 보임.
• 다양한 컷 길이(50% 및 100%)를 사용한 데이터 증강 전략이 표현 학습을 향상시켜 더 높은 최종 정확도를 달성함.
• 프로젝션 헤드에 반복적 정규화 레이어를 추가함으로써 수렴 속도가 크게 향상되었고, 표현 품질은 손상되지 않음.
• 선형 평가 및 SVM 기반 평가를 통해 다양한 UCR 데이터셋에서 5-kNN 분류 정확도 측면에서 제안된 VIbCReg 방법이 베이스라인 SSL 방법을 모두 초월함.