[論文レビュー] A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends

Jie Gui, Tuo Chen+5 more|arXiv (Cornell University)|Jan 13, 2023

Text and Document Classification Technologies被引用数 22

ひとこと要約

自己教師あり学習（SSL）に関する総合的なレビュー。アルゴリズム（文脈ベース、対比、生成）、応用、傾向、未解決の問いに焦点を当て、CVおよびCV寄りの研究を中心に解説する。

ABSTRACT

Deep supervised learning algorithms typically require a large volume of labeled data to achieve satisfactory performance. However, the process of collecting and labeling such data can be expensive and time-consuming. Self-supervised learning (SSL), a subset of unsupervised learning, aims to learn discriminative features from unlabeled data without relying on human-annotated labels. SSL has garnered significant attention recently, leading to the development of numerous related algorithms. However, there is a dearth of comprehensive studies that elucidate the connections and evolution of different SSL variants. This paper presents a review of diverse SSL methods, encompassing algorithmic aspects, application domains, three key trends, and open research questions. Firstly, we provide a detailed introduction to the motivations behind most SSL algorithms and compare their commonalities and differences. Secondly, we explore representative applications of SSL in domains such as image processing, computer vision, and natural language processing. Lastly, we discuss the three primary trends observed in SSL research and highlight the open questions that remain. A curated collection of valuable resources can be accessed at https://github.com/guijiejie/SSL.

研究の動機と目的

• SSLの動機と定義を説明し、監視付き学習および教師なし学習とどう異なるかを示す。
• 代表的なSSLのプレテキストタスクと、それらがより広い学習パラダイムとどう結びつくかを調査する。
• 対照学習、生成、デコレレーション（非相関）に基づく SSL 手法とその理論的基盤を要約する。
• 視覚と言語における核心的な応用を強調し、新たなトレンドと未解決の問題を議論する。

提案手法

• SSLを文脈ベース、対照学習、生成（MIM）および特徴デコレーションアプローチに分類する。
• 回転、カラー化、ジグソーなどの古典的なプレテキストタスクを説明し、それらが自己教師付き信号をどのように生成するか。
• 対照学習フレームワーク（MoCo、SimCLR、BYOL、SimSiam、SwAV）を、正例/負例のペアとInfoNCEのような損失定式を含めて説明する。
• 生成的マスクドイメージモデリング（MIM）手法（BEiT、MAE、CAE、SimMIM）と、ノイズ除去オートエンコーダーとの関係を詳述する。
• SSLとPCA、スペクトルクラスタリング、および監督付き学習の成果との理論的結びつきを論じる。
• データ拡張、Siameseアーキテクチャ、およびネガティブ対ネガティブではない（negative-free）アプローチの役割に言及する。

実験結果

リサーチクエスチョン

• RQ1 主なSSLパラダイム、コア機構、それらが最も効果的な状況は何か？
• RQ2 プレテキストタスクはCVおよびNLPの下流タスクの有用な表現へどう翻訳されるか？
• RQ3 対照学習の成功の理論的説明は何で、PCAやスペクトルクラスタリングとどう関連するか？
• RQ4 アプリケーション全体でのSSLの未解決の研究課題と将来の方向性は何か？
• RQ5 データ拡張とモデルアーキテクチャはSSLの性能にどう影響するか？

主な発見

• SSLは大量のラベルなしデータを活用して、下流タスクへ転送可能な識別的特徴を学習する。
• 対照学習手法（MoCo、SimCLR）は、正例/負例のペアと強力なデータ拡張を利用してビューの一貫性を最大化する。
• ネガティブなしの手法（BYOL、SimSiam）および特徴デコレーション（Barlow Twins、VICReg）は、明示的なネガティブを必要としない代替的SSL経路を提供する。
• 生成/マスクド画像モデリング（MIM）手法（BEiT、MAE、CAE、SimMIM）は、パッチレベルのコンテキストを活用することで強力な表現を明らかにする。
• SSLのPCA・スペクトルクラスタリングとの理論的結びつきや、下流転送におけるデータ拡張とタスク設計の役割を強調する。
• 未解決の問題として、モダリティを跨ぐSSLダイナミクスの理解、密集予測のタスク設計の改善、理論的基盤の洗練が挙げられる。