[논문 리뷰] How Well Self-Supervised Pre-Training Performs with Streaming Data?

Dapeng Hu, Qizhengqiu Lu외 6명|arXiv (Cornell University)|2021. 04. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 65인용 수 6

한 줄 요약

이 논문은 스트리밍 데이터를 위한 순차적 자기지도 학습 미리 훈련을 조사하며, 기존의 통합 훈련과 비교한다. 파라미터 정규화나 데이터 재생과 같은 단순한 기법을 결합할 경우 순차적 훈련이 분포 이탈 조건에서도 통합 훈련과 거의 동일한 성능을 달성함을 발견하여, 실세계 응용에 더 효율적이면서도 경쟁력 있는 대안이 된다.

ABSTRACT

The common self-supervised pre-training practice requires collecting massive unlabeled data together and then trains a representation model, dubbed extbf{joint training}. However, in real-world scenarios where data are collected in a streaming fashion, the joint training scheme is usually storage-heavy and time-consuming. A more efficient alternative is to train a model continually with streaming data, dubbed extbf{sequential training}. Nevertheless, it is unclear how well sequential self-supervised pre-training performs with streaming data. In this paper, we conduct thorough experiments to investigate self-supervised pre-training with streaming data. Specifically, we evaluate the transfer performance of sequential self-supervised pre-training with four different data sequences on three different downstream tasks and make comparisons with joint self-supervised pre-training. Surprisingly, we find sequential self-supervised learning exhibits almost the same performance as the joint training when the distribution shifts within streaming data are mild. Even for data sequences with large distribution shifts, sequential self-supervised training with simple techniques, e.g., parameter regularization or data replay, still performs comparably to joint training. Based on our findings, we recommend using sequential self-supervised training as a extbf{more efficient yet performance-competitive} representation learning practice for real-world applications.

연구 동기 및 목표

• 데이터가 통합 훈련 방식이 아닌 스트리밍 방식으로 도착할 때 순차적 자기지도 학습 미리 훈련의 효과성을 평가하는 것.
• 스트리밍 데이터에서의 분포 이탈이 순차적 자기지도 학습의 성능에 미치는 영향을 평가하는 것.
• 다양한 최종 작업에서 순차적 및 통합 자기지도 학습 미리 훈련 간의 전이 성능를 비교하는 것.
• 스트리밍 환경에서 도전적인 데이터 분포 이탈 상황에서도 높은 성능를 유지할 수 있는 단순한 기법을 규명하는 것.

제안 방법

• 연구는 새로운 데이터 배치가 도착할 때마다 모델을 점진적으로 업데이트하는 순차적 자기지도 학습을 사용하여, 통합 훈련을 위해 모든 데이터를 저장할 필요가 없도록 한다.
• 다양한 수준의 분포 이탈을 가진 네 가지의 서로 다른 데이터 시퀀스를 사용하여 다양한 스트리밍 시나리오에서의 강건성을 평가한다.
• 학습된 표현의 질을 측정하기 위해 세 가지 최종 작업에서 전이 성능를 평가한다.
• 재학습 방지(catastrophic forgetting)를 완화하기 위해 파라미터 정규화 및 데이터 재생과 같은 기법을 적용한다.
• 동일한 최종 테이닝 프로토콜을 사용하여 순차적 및 통합 훈련 설정 간의 성능를 정량적으로 비교한다.
• 성능 평가에선 전이 학습 정확도를 통해 표현 품질에 초점을 맞추어 실세계 적용 가능성을 반영한다.

실험 결과

연구 질문

• RQ1 스트리밍 환경에서 경미한 데이터 분포 이탈 조건 하에서 순차적 자기지도 학습 미리 훈련은 통합 훈련에 비해 어떻게 성능를 보이는가?
• RQ2 스트리밍 데이터에서 큰 분포 이탈이 발생할 경우 순차적 훈련도 경쟁 가능한 성능를 유지할 수 있는가?
• RQ3 어떤 단순한 정규화 기법이 분포 이탈 조건 하에서 순차적 자기지도 학습의 강건성을 향상시키는가?
• RQ4 순차적 자기지도 학습 미리 훈련은 실세계 스트리밍 응용에 있어 실용적이고 효율적인 통합 훈련의 대안이 될 수 있는가?

주요 결과

• 데이터 분포 이탈이 경미할 경우 순차적 자기지도 학습 미리 훈련이 통합 훈련과 거의 동일한 전이 성능를 달성한다.
• 큰 분포 이탈 조건 하에서도 파라미터 정규화나 데이터 재생을 적용한 순차적 훈련이 통합 훈련과 비교해 유사한 성능를 유지한다.
• 모든 평가된 최종 작업에서 순차적 훈련과 통합 훈련 간의 성능 격차는 극히 미미하여 순차적 방법의 강력한 일반화 능력을 시사한다.
• 제안된 순차적 접근은 통합 훈련 대비 저장 용량과 계산 오버헤드를 크게 줄여 실세계 구현에 더 실용적이다.
• 파라미터 정규화 및 데이터 재생과 같은 단순한 정규화 기법은 순차적 업데이트 동안 표현 학습의 안정성을 높이는 데 효과적이다.
• 결과는 실세계 스트리밍 환경에서 통합 훈련에 비해 더 효율적이면서도 성능 경쟁력 있는 대안으로 순차적 자기지도 학습 미리 훈련의 도입을 지지한다.