[논문 리뷰] Contrastive Neural Processes for Self-Supervised Learning

Konstantinos Kallidromitis, Denis Gudovskiy외 3명|arXiv (Cornell University)|2021. 10. 24.

Music and Audio Processing참고 문헌 34인용 수 4

한 줄 요약

이 논문은 시간 시리즈 예측을 위한 신경 프로세스와 대비 학습을 결합한 자기지도 학습 프레임워크인 대비 신경 프로세스(ContrNP)를 제안한다. 이는 수동적인 증강 설계 없이 데이터 증강 표현을 생성한다. 산업, 의료, 음성 데이터셋에서 최신 기술을 초월하는 성능을 달성하며, ECG 데이터에서 정확도를 10% 이상 향상시키고, 레이블이 10% 밖에 없는 경우에도 완전한 지도 학습과 유사한 성능을 보인다.

ABSTRACT

Recent contrastive methods show significant improvement in self-supervised learning in several domains. In particular, contrastive methods are most effective where data augmentation can be easily constructed e.g. in computer vision. However, they are less successful in domains without established data transformations such as time series data. In this paper, we propose a novel self-supervised learning framework that combines contrastive learning with neural processes. It relies on recent advances in neural processes to perform time series forecasting. This allows to generate augmented versions of data by employing a set of various sampling functions and, hence, avoid manually designed augmentations. We extend conventional neural processes and propose a new contrastive loss to learn times series representations in a self-supervised setup. Therefore, unlike previous self-supervised methods, our augmentation pipeline is task-agnostic, enabling our method to perform well across various applications. In particular, a ResNet with a linear classifier trained using our approach is able to outperform state-of-the-art techniques across industrial, medical and audio datasets improving accuracy over 10% in ECG periodic data. We further demonstrate that our self-supervised representations are more efficient in the latent space, improving multiple clustering indexes and that fine-tuning our method on 10% of labels achieves results competitive to fully-supervised learning.

연구 동기 및 목표

• 표준 이미지 기반 증강 기법이 적용되지 않는 시간 시리즈 자기지도 학습에서 효과적인 데이터 증강 기법을 설계하는 데 도전한다.
• 예측을 위한 신경 프로세스와 표현 정렬을 위한 대비 학습을 활용하는 작업에 종속되지 않는 표현 학습 프레임워크를 개발한다.
• 잠재 공간 내의 표현 품질을 향상시켜 더 나은 클러스터링과 후속 전이 학습을 가능하게 한다.
• 대비 손실과 신경 프로세스 예측을 조합한 방법이 다양한 실세계 시간 시리즈 벤치마크에서 기존 자기지도 학습 방법을 능가할 수 있음을 입증한다.

제안 방법

• 이 방법은 다양한 샘플링 함수를 적용하여 동일한 시간 시리즈의 여러 시각을 생성함으로써, 수동 설계 없이도 데이터 증강을 효과적으로 구현한다.
• 이중 목적의 손실 함수를 도입한다: 양의 시각 간의 거리를 최소화하고 음의 시각 간의 거리를 최대화하는 대비 손실과, 예측 성능 향상을 위한 회귀 손실.
• 외부 맥락 샘플링을 활용하여 정규화를 강화하고 생성된 증강의 품질을 향상시킨다.
• 잠재 공간 내에서 분리된, 클래스 인식 가능한 표현을 유도하는 대비 손실을 사용해 프레임워크를 종합적으로 훈련한다.
• ResNet과 같은 임의의 신경망 아키텍처와 호환되며, 후속 분류 작업에 활용할 수 있다.
• 데이터 모odal에 종속되지 않으며, 다변량이고 불균형한 시간 시리즈 데이터에 특히 효과적이다.

실험 결과

연구 질문

• RQ1 신경 프로세스 기반 자기지도 학습 프레임워크가 시간 시리즈 데이터에서 수동으로 설계된 변환에 의존하지 않고 효과적인 데이터 증강을 생성할 수 있는가?
• RQ2 대비 학습과 신경 프로세스 예측을 조합함으로써, 기존 방법에 비해 잠재 공간 내 표현 품질이 어떻게 향상되는가?
• RQ3 제안된 방법이 의료, 산업 모니터링, 음성과 같은 다양한 시간 시리즈 응용 분야에 얼마나 일반화되는가?
• RQ4 학습된 표현이 레이블이 아주 소수에 불과한 경우에도 완전한 지도 학습과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 최신 자기지도 기반 베이스라인과 비교해 클러스터링 품질과 표현 분리도 측면에서 어떻게 성능을 내는가?

주요 결과

• ContrNP는 Atrial Fibrillation (AFDB) 데이터셋에서 모든 자기지도 기반 베이스라인을 압도하며, 선형 분류기로 94.2%의 정확도를 기록하여 다음으로 좋은 방법(SimCLR, 82.3%)보다 10.6% 높은 성능을 보였다.
• ECG 주기적 데이터에서는 최신 기술 대비 정확도를 10% 이상 향상시켜 도전적인 의료 시간 시리즈에서 뛰어난 성능을 입증했다.
• ContrNP는 뛰어난 클러스터링 성능을 보였으며, AFDB에서 실루엣 스코어 0.36 ± 0.07, Urban8K에서 Davies–Bouldin 지수 0.89 ± 0.15를 기록해 모든 베이스라인을 능가했다.
• 레이블의 단지 10%만을 사용해 미세조정을 수행했을 때도 완전한 지도 학습과 유사한 성능을 달성했으며, 특히 Urban8K 음성 데이터셋에서 95.4%의 정확도를 기록했다.
• t-SNE 시각화 결과에 따르면, 잠재 공간 내에서 더 잘 분리된 표현을 생성했으며, 이는 향상된 분리도와 클래스 간 분리도를 의미한다.
• ContrNP는 산업, 의료, 음성 시간 시리즈 데이터셋에서 최신 기술을 달성하며 광범위한 적용 가능성과 강건성을 입증했다.