[論文レビュー] Understanding and Improving the Role of Projection Head in Self-Supervised Learning

Kartik Gupta, Thalaiyasingam Ajanthan+2 more|arXiv (Cornell University)|Dec 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

この論文は、訓練後には破棄されるにもかかわらず、対照的自己教師あり学習（SSL）において学習可能なプロジェクションヘッドがなぜ不可欠であるかを調査する。本稿では、プロジェクションヘッドをネットワークの一部ではなく損失関数の一部として扱うことで、SSLを二段階最適化問題に再定式化し、CIFAR-10、CIFAR-100、TinyImageNetにおいて、学習可能なプロジェクションヘッドを備えた標準的なSimCLRと比較して一般化性能が向上することを示す。

ABSTRACT

Self-supervised learning (SSL) aims to produce useful feature representations without access to any human-labeled data annotations. Due to the success of recent SSL methods based on contrastive learning, such as SimCLR, this problem has gained popularity. Most current contrastive learning approaches append a parametrized projection head to the end of some backbone network to optimize the InfoNCE objective and then discard the learned projection head after training. This raises a fundamental question: Why is a learnable projection head required if we are to discard it after training? In this work, we first perform a systematic study on the behavior of SSL training focusing on the role of the projection head layers. By formulating the projection head as a parametric component for the InfoNCE objective rather than a part of the network, we present an alternative optimization scheme for training contrastive learning based SSL frameworks. Our experimental study on multiple image classification datasets demonstrates the effectiveness of the proposed approach over alternatives in the SSL literature.

研究の動機と目的

• 訓練後に破棄されるにもかかわらず、対照的SSLにおいて学習可能なプロジェクションヘッドが必要な理由を理解すること。
• 対照的損失最適化における部分空間選択におけるプロジェクションヘッドの内蔵的役割を調査すること。
• 学習可能なヘッドとしての機能的寄与を超えて、プロジェクションヘッドの役割を理解するギャップを埋めること。
• プロジェクションヘッドを損失関数の一部として扱うことで、学習安定性と一般化性能を向上させる新しい最適化スキームを提案すること。
• 固定または破棄されたヘッドと比較して、プロジェクションヘッドを学習させることで性能が向上することを実証的に検証すること。

提案手法

• SSLを二段階最適化問題として定式化：内側のループでは、対照的損失に最適な部分空間を選択するためにプロジェクションヘッドを最適化し、外側のループではバックボーン特徴を更新する。
• プロジェクションヘッドを固定されたネットワークヘッドではなく、損失関数の学習可能な構成要素として再定式化し、動的かつ部分空間選択を可能にする。
• 交互最適化を適用：対照的損失に基づいて勾配降下法でプロジェクションヘッドを更新し、その後更新されたプロジェクションヘッドに基づいてバックボーンを更新する。
• CIFAR-10、STL-10、TinyImageNet、ImageNetにおいて、SimCLRおよびSimSiamに本手法を適用し、挙動と性能を分析する。
• 提案手法を標準的なSimCLRおよびDirectCLRと比較し、線形評価プロトコルにおける一般化性能を評価する。
• プロジェクションヘッドのランクおよび核空間を分析し、特徴選択におけるその内蔵的役割を理解する。

実験結果

リサーチクエスチョン

• RQ1 訓練後に破棄されるにもかかわらず、なぜSSLにおいて学習可能なプロジェクションヘッドが必要なのか？
• RQ2 最終的なプロジェクション層としての役割を超えて、訓練中におけるプロジェクションヘッドの機能的役割は何か？
• RQ3 プロジェクションヘッドの特徴部分空間の内蔵的選択能力——特に、これを損失関数の一部として形式化し、強制することは可能か？
• RQ4 プロジェクションヘッドを損失関数の一部として扱うことで、標準的な学習可能なヘッドを用いた訓練と比較して、より良い一般化性能が得られるか？
• RQ5 複数のデータセットにおいて、固定プロジェクションヘッドや標準的なSimCLRと比較して、本手法の性能はどのように異なるか？

主な発見

• プロジェクションヘッドは、対照的損失を適用するための特徴部分空間を暗黙的に選択する低ランク写像として機能し、学習安定性と一般化性能を向上させる。
• プロジェクションヘッドの核空間は一般化に有用であり、ヘッドが不要な特徴成分を抑圧することを学習していることを示唆している。
• 標準的なSSL訓練において、学習可能なプロジェクションヘッドは固定プロジェクションヘッドに置き換えられない。固定ヘッドでは性能が劣化する。
• 提案された二段階最適化スキームは、CIFAR-10、CIFAR-100、TinyImageNetにおいて標準的なSimCLRを上回り、一般化性能の向上を示している。
• 初期訓練段階では固定プロジェクションヘッドが優れているが、最終的には学習可能なプロジェクションヘッドがそれを上回り、エンドツーエンド最適化の必要性を裏付けている。
• 本手法は線形評価ベンチマークでSOTA（最先端）の性能を達成しており、プロジェクションヘッドの役割が偶然的ではなく、学習プロセスにおいて極めて重要であることを確認している。