[논문 리뷰] SimPer: Simple Self-Supervised Learning of Periodic Targets

Yuzhe Yang, Xin Liu외 5명|arXiv (Cornell University)|2022. 10. 06.

Advanced Chemical Sensor Technologies인용 수 20

한 줄 요약

SimPer는 주기 정보를 학습하기 위해 시계열 자기대조 학습, 주기적 특징 유사성, 그리고 다수의 실제 데이터셋에서 주기성을 포착하기 위한 일반화된 연속 타깃 손실을 사용하는 간단한 자기지도 학습 프레임워크입니다.

ABSTRACT

From human physiology to environmental evolution, important processes in nature often exhibit meaningful and strong periodic or quasi-periodic changes. Due to their inherent label scarcity, learning useful representations for periodic tasks with limited or no supervision is of great benefit. Yet, existing self-supervised learning (SSL) methods overlook the intrinsic periodicity in data, and fail to learn representations that capture periodic or frequency attributes. In this paper, we present SimPer, a simple contrastive SSL regime for learning periodic information in data. To exploit the periodic inductive bias, SimPer introduces customized augmentations, feature similarity measures, and a generalized contrastive loss for learning efficient and robust periodic representations. Extensive experiments on common real-world tasks in human behavior analysis, environmental sensing, and healthcare domains verify the superior performance of SimPer compared to state-of-the-art SSL methods, highlighting its intriguing properties including better data efficiency, robustness to spurious correlations, and generalization to distribution shifts. Code and data are available at: https://github.com/YyzHarry/SimPer.

연구 동기 및 목표

• 주기적 학습 과제를 위한 기존 SSL 방법의 한계를 식별한다.
• 주기적 귀납 편향을 활용하는 간단한 SSL 프레임워크를 설계한다.
• 다양한 도메인에서 SimPer를 평가하여 견고성, 효율성 및 전이성을 입증한다.

제안 방법

• 같은 입력으로부터 주파수 이동 음수를 생성하기 위한 주기성 변이 증강을 도입한다.
• 같은 입력의 여러 양의 뷰를 만들기 위해 주기성 불변 증강을 사용한다.
• 주기적 표현을 비교하기 위해 주기적 특징 유사도 측정(예: MXCorr, nPSD)을 사용한다.
• 정보 NCE 손실을 주파수-레이블 유사도에 따라 쌍에 가중치를 두는 연속 타깃 버전(SimPer 손실)으로 일반화한다.
• 공유 인코더로 학습하고 증강 뷰에 대해 SimPer 손실을 최적화한다.
• 여섯 개의 다양한 데이터셋에서 최첨단 SSL 방법 및 지도학습과 비교 벤치마크를 수행한다.

실험 결과

연구 질문

• RQ1 레이블 없이도 SSL 방법이 주기적 또는 준주기적 동역학을 효과적으로 포착할 수 있는가?
• RQ2 주파수 인지 증강 및 유사도 측정이 주기적 타깃에 대해 학습된 표현을 향상시키는가?
• RQ3 데이터 효율적 설정, 전이 시나리오 및 분포 변화나 보지 않은 타깃에서 SimPer는 어떻게 작동하는가?

주요 결과

• SimPer는 여섯 가지 다양한 주기적 작업에서 최첨단 SSL 방법을 지속적으로 능가한다.
• SimPer는 기준 대비 데이터 효율성 향상 및 잘못된 상관관계에 대한 견고성을 보인다.
• 데이터셋 간 전이 가능한 주기적 표현을 보여주고 보지 않은 주파수에 대한 제로샷 일반화가 더 좋다.
• 일반화된 연속 타깃 손실이 여러 작업에서 기본 InfoNCE보다 성능을 향상시킨다.