[논문 리뷰] How Well Does Self-Supervised Pre-Training Perform with Streaming Data?

Dapeng Hu, Shipeng Yan외 7명|arXiv (Cornell University)|2021. 04. 25.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 데이터가 동시에 도착하는 것이 아니라 순차적으로 도착하는 스트리밍 데이터 환경에서의 자기지도 학습 사전 훈련을 조사한다. 간단한 기법들인 데이터 재생 또는 파라미터 정규화를 사용할 경우, 순차적 자기지도 학습이 공동 훈련과 동등한 성능을 달성함을 발견하였으며, 이는 치명적인 잊음이 최소화되고 특히 심각한 분포 이탈 상황에서도 공동 훈련 모델과 강한 특징 유사성을 유지함을 보여준다.

ABSTRACT

Prior works on self-supervised pre-training focus on the joint training scenario, where massive unlabeled data are assumed to be given as input all at once, and only then is a learner trained. Unfortunately, such a problem setting is often impractical if not infeasible since many real-world tasks rely on sequential learning, e.g., data are decentralized or collected in a streaming fashion. In this paper, we conduct the first thorough and dedicated investigation on self-supervised pre-training with streaming data, aiming to shed light on the model behavior under this overlooked setup. Specifically, we pre-train over 500 models on four categories of pre-training streaming data from ImageNet and DomainNet and evaluate them on three types of downstream tasks and 12 different downstream datasets. Our studies show that, somehow beyond our expectation, with simple data replay or parameter regularization, sequential self-supervised pre-training turns out to be an efficient alternative for joint pre-training, as the performances of the former are mostly on par with those of the latter. Moreover, catastrophic forgetting, a common issue in sequential supervised learning, is much alleviated in sequential self-supervised learning (SSL), which is well justified through our comprehensive empirical analysis on representations and the sharpness of minima in the loss landscape. Our findings, therefore, suggest that, in practice, for SSL, the cumbersome joint training can be replaced mainly by sequential learning, which in turn enables a much broader spectrum of potential application scenarios.

연구 동기 및 목표

• 데이터가 동시에 도착하는 것이 아니라 순차적으로 도착하는 스트리밍 데이터 환경에서 자기지도 사전 훈련의 가능성과 효율성을 조사하기 위해.
• 고비용의 스토리지 및 계산 자원을 요구하는 공동 훈련의 실용적 한계를 해결하기 위해, 확장 가능한 대안으로 순차적 훈련을 탐색하기 위해.
• 순차적 자기지도 학습에서의 치명적인 잊음 현상을 분석하고, 이를 감독적 지속 학습과 비교하기 위해.
• 다양한 스트리밍 데이터 분포 하에서 다양한 후행 작업 및 데이터셋에서의 전이 성능를 평가하기 위해.
• 순차적으로 훈련된 모델와 공동으로 훈련된 모델 간의 표현 유사성과 손실 곡면의 날카기 정도에 대한 종합적인 실증 분석을 제공하기 위해.

제안 방법

• ImageNet과 DomainNet에서 유도된 네 가지 스트리밍 데이터 유형(인스턴스 인크리멘탈, 무작위 클래스 인크리멘탈, 먼 거리 클래스 인크리멘탈, 도메인 인크리멘탈)을 사용해 500개 이상의 모델을 사전 훈련하였다.
• 순차적 데이터 처리 환경에서 표준 자기지도 학습 방법(예: SimCLR, MoCo)을 사용하여 사전 훈련을 수행하였다.
• 잊음 현상을 완화하기 위해 경험 재생 및 파라미터 정규화(예: MAS)와 같은 지속 학습 기법을 적용하였다.
• 12개의 데이터셋에서 선형 평가, 소수 분류, Pascal VOC 객체 검출의 세 가지 후행 작업을 수행하여 모델 성능을 평가하였다.
• 순차적으로 훈련된 모델와 공동으로 훈련된 모델의 특징 간 선형 CKA 유사도를 계산하여 표현 정렬 정도를 측정하였다.
• 각 데이터 청크 이후의 모델 상태 간 보간된 가중치 경로를 따라 kNN 기반 정확도를 분석하여 손실 곡면의 날카기 정도를 분석하였다.

실험 결과

연구 질문

• RQ1 다양한 스트리밍 데이터 분포 하에서 순차적 자기지도 사전 훈련이 공동 훈련에 비해 후행 전이 성능에서 어떻게 비교되는가?
• RQ2 순차적 자기지도 학습에서 치명적인 잊음 현상은 감독적 지속 학습에 비해 어느 정도 발생하는가?
• RQ3 스트리밍 조건 하에서 순차적으로 훈련된 모델과 공동으로 훈련된 모델 간에 학습된 표현은 얼마나 유사한가?
• RQ4 지속 학습 기법(예: 데이터 재생, 파라미터 정규화)이 순차적 SSL 성능 향상에 어떤 역할을 하는가?
• RQ5 순차적 자기지도 학습 모델과 감독 학습 모델 간의 손실 곡면 날카기 정도는 어떻게 다를 수 있으며, 이는 일반화 가능성에 어떤 함의를 갖는가?

주요 결과

• 데이터 재생 또는 파라미터 정규화를 사용한 순차적 자기지도 사전 훈련은 분포 이탈이 미미하거나 없을 경우 공동 훈련과 동등한 전이 학습 성능를 달성한다.
• 심각한 분포 이탈(예: 먼 거리 클래스 인크리멘탈)이 존재하는 스트리밍 데이터 상황에서는 성능 격차가 발생하지만, MAS 또는 재생 기법을 사용할 경우 순차적 및 공동 훈련 모델 간 CKA 유사도가 최대 0.9에 도달하여 강력한 특징 정렬을 보여준다.
• 감독 학습에 비해 순차적 SSL에서 치명적인 잊음 현상이 크게 완화되었으며, 이는 더 평탄한 손실 곡면과 높은 표현 안정성으로 확인되었다.
• 날카기 정도 분석 결과, 특히 인스턴스 인크리멘탈 설정에서 순차적 훈련 시점 간 보간 경로를 따라 SSL 모델이 더 평탄한 최소값을 보이며 일반화 가능성이 높음을 시사한다.
• 선형 CKA 유사도 점수는 순차적으로 훈련된 SSL 모델이 심각한 분포 이탈 데이터에서 공동 훈련 모델과 0.7의 유사도를 유지하며, MAS 또는 재생 기법을 사용할 경우 이는 0.9로 상승함을 확인하여 강력한 특징 학습 능력을 입증한다.
• 1000개 클래스 분류 문제로 인해 인스턴스 인크리멘탈 시퀀스에서 날카기 정도 값이 높아지더라도 SSL 모델은 여전히 잘 일반화됨을 보여주며, 이는 자기지도 학습 환경에서는 날카기 정도 자체가 성능 저하를 예측하지 못함을 의미한다.