[論文レビュー] How Well Self-Supervised Pre-Training Performs with Streaming Data?

Dapeng Hu, Qizhengqiu Lu+6 more|arXiv (Cornell University)|Apr 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 65被引用数 6

ひとこと要約

本論文は、ストリーミングデータにおける逐次的自己教師あり事前学習について調査し、従来の統合学習と比較している。パラメータ正則化やデータリプレイといった単純な技術を組み合わせることで、分布シフトが生じても、逐次学習は統合学習とほぼ同等の性能を達成する。これは、実世界の応用においてより効率的でありながらも競争力のある代替手法であることを示している。

ABSTRACT

The common self-supervised pre-training practice requires collecting massive unlabeled data together and then trains a representation model, dubbed extbf{joint training}. However, in real-world scenarios where data are collected in a streaming fashion, the joint training scheme is usually storage-heavy and time-consuming. A more efficient alternative is to train a model continually with streaming data, dubbed extbf{sequential training}. Nevertheless, it is unclear how well sequential self-supervised pre-training performs with streaming data. In this paper, we conduct thorough experiments to investigate self-supervised pre-training with streaming data. Specifically, we evaluate the transfer performance of sequential self-supervised pre-training with four different data sequences on three different downstream tasks and make comparisons with joint self-supervised pre-training. Surprisingly, we find sequential self-supervised learning exhibits almost the same performance as the joint training when the distribution shifts within streaming data are mild. Even for data sequences with large distribution shifts, sequential self-supervised training with simple techniques, e.g., parameter regularization or data replay, still performs comparably to joint training. Based on our findings, we recommend using sequential self-supervised training as a extbf{more efficient yet performance-competitive} representation learning practice for real-world applications.

研究の動機と目的

• データが逐次的に到着するストリーミング環境における、逐次的自己教師あり事前学習の有効性を評価すること。
• ストリーミングデータにおける分布シフトが、逐次的自己教師あり学習の性能に与える影響を評価すること。
• 多様な下流タスクにおいて、逐次的および統合的自己教師あり事前学習の転移性能を比較すること。
• ストリーミング環境における挑戦的なデータ分布シフト下でも高い性能を維持できる単純な技術を同定すること。

提案手法

• 本研究では、新しいデータバッチが到着する度にモデルを段階的に更新する逐次的自己教師あり事前学習を採用し、統合学習に必要な全データの保存を回避する。
• 異なる程度の分布シフトを有する4つの異なるデータ系列を用いて、さまざまなストリーミングシナリオにおけるロバストネスを評価する。
• 学習された表現の質を測るため、3つの下流タスクで転移性能を評価する。
• 災難的忘却を軽減するために、パラメータ正則化やデータリプレイなどの技術を適用する。
• 同一の下流微調整プロトコルを用いて、逐次的および統合的事前学習設定の間で定量的に性能を比較する。
• 結果が実世界の適用性を反映していることを保証するため、転移学習の正確性を通じて表現の質に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 ストリーミング環境下で、データ分布シフトがやや強い状況において、逐次的自己教師あり事前学習は統合学習と比べてどのように性能を発揮するか？
• RQ2 ストリーミングデータに大きな分布シフトが生じた場合でも、逐次学習は競争力のある性能を維持できるか？
• RQ3 分布シフト下で、逐次的自己教師あり学習のロバストネスを向上させる単純な正則化技術は何か？
• RQ4 逐次的自己教師あり事前学習は、実世界のストリーミング応用において実用的かつ効率的な統合学習の代替手段として適しているか？

主な発見

• 分布シフトがやや強いストリーミングデータにおいて、逐次的自己教師あり事前学習は、統合学習とほぼ同等の転移性能を達成する。
• 大きな分布シフトが生じても、パラメータ正則化やデータリプレイを用いた逐次学習は、統合学習と同等の性能を維持する。
• 評価されたすべての下流タスクにおいて、逐次的学習と統合学習の性能差は最小限に抑えられており、逐次的手法の優れた一般化能力を示している。
• 提案された逐次的手法は、統合学習と比較して、ストレージおよび計算オーバーヘッドを顕著に削減しており、実世界への導入においてより実用的である。
• パラメータ正則化やデータリプレイといった単純な正則化技術は、逐次的更新における表現学習の安定化に効果的である。
• 結果は、ストリーミング環境において、統合学習の代替手段として、より効率的かつ性能に優れた逐次的自己教師あり事前学習の採用を支持する。