[論文レビュー] Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning

Florian Bordes, Randall Balestriero+3 more|arXiv (Cornell University)|Jun 27, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、自己教師あり学習（SSL）における汎化性能を向上させるための技術、ギロチン正則化（Guillotine Regularization）を紹介する。これは、訓練終了後に最終的なプロジェクターヘッド層を削除することにより、それらの層でSSL目的関数が最適化されているにもかかわらず、性能向上を達成する。主な発見は、下流タスクにおける最適な層が、しばしば最後のプロジェクターレイヤーではなく中間層であるということであり、この性能向上はSSLの事前学習タスクと下流タスクとの間の不整合に起因する。この不整合を減らすために、より良い陽性ペアの設計を施すことで、ギロチン正則化の必要性が低下する。

ABSTRACT

One unexpected technique that emerged in recent years consists in training a Deep Network (DN) with a Self-Supervised Learning (SSL) method, and using this network on downstream tasks but with its last few projector layers entirely removed. This trick of throwing away the projector is actually critical for SSL methods to display competitive performances on ImageNet for which more than 30 percentage points can be gained that way. This is a little vexing, as one would hope that the network layer at which invariance is explicitly enforced by the SSL criterion during training (the last projector layer) should be the one to use for best generalization performance downstream. But it seems not to be, and this study sheds some light on why. This trick, which we name Guillotine Regularization (GR), is in fact a generically applicable method that has been used to improve generalization performance in transfer learning scenarios. In this work, we identify the underlying reasons behind its success and show that the optimal layer to use might change significantly depending on the training setup, the data or the downstream task. Lastly, we give some insights on how to reduce the need for a projector in SSL by aligning the pretext SSL task and the downstream task.

研究の動機と目的

• 最終的なプロジェクターヘッド層を削除することで、SSLモデルの下流タスク性能が著しく向上する理由を、それらの層でSSL目的関数が最適化されているにもかかわらず、解明すること。
• この直感に反する実践法、すなわちギロチン正則化の有効性の根本的要因を同定すること。
• トレーニング最適化、データ分布、および下流タスクの特性が、トランスファー学習における最適な層にどのように影響を与えるかを調査すること。
• SSLの事前学習タスクと下流タスクの間の不整合を減らすことで、ギロチン正則化への依存度が低下することを示すこと。
• バックボーンや最終プロジェクターレイヤーに依存するのではなく、複数の層を体系的に評価するトランスファー学習の評価手法を提唱すること。

提案手法

• 著者らは、プロジェクターヘッドの追加といったアーキテクチャ変更とは異なり、訓練後の層削除手法としてギロチン正則化を導入する。
• 複数のSSL手法（例：SimCLR、MoCo、BYOL）で訓練されたResNet50モデルのさまざまな層で線形プローブを評価し、層ごとの下流タスク性能を比較する。
• 2種類の代替陽性ペア定義（事前学習済みSSLモデルからの最近傍探索、ImageNetラベルに基づくクラスベースペア）を用いて、下流タスクとの整合性をテストする。
• 条件付き生成モデル（RCDM）を用いて、ネットワークの異なる層に保持された情報内容を可視化・比較する。
• 標準的なデータ拡張（クロップ、カラーじゅんせん、ぼかし、ソーラリゼーション）を用い、すべてのSSL手法に3層MLPヘッドを適用することで一貫性を確保する。
• 最適化、データ、下流タスクの各要因についてアブレーションスタディを実施し、層選択の感受性を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありモデルで最終的なプロジェクターヘッド層を削除することで、なぜ下流タスクの性能が著しく向上するのか？
• RQ2 SSLの事前学習タスクと下流タスクの整合性が、ギロチン正則化の必要性にどのように影響を与えるか？
• RQ3 トランスファー学習における最適な層は、トレーニング設定、データ分布、または下流タスクに依存して変化するか？
• RQ4 SSLの事前学習タスクにおける陽性ペアの定義を見直すことで、下流タスクの目的に合わせてより整合性を高めることで、ギロチン正則化の必要性を減らせるか？
• RQ5 SSLにおいて、中間層が最終プロジェクターレイヤーと比較して、より転送可能で一般化可能な特徴を保持している割合はどの程度か？

主な発見

• 最終的なプロジェクターヘッド層を削除することで（ギロチン正則化）、一部のSSL手法ではImageNet線形プローブ精度が最大30ポイント向上するが、それらの層でSSL目的関数が最適化されているにもかかわらずである。
• 下流タスク性能の最適な層が常に最終プロジェクターレイヤーであるとは限らず、多くの場合、中間層がバックボーンやプロジェクターレイヤーを上回る性能を示す。
• SSLで陽性ペアをクラスレベルの類似性（例：同じImageNetクラス）に基づいて定義すると、バックボーンとプロジェクターレイヤーの性能差は顕著に縮小する。
• 最近傍に基づく陽性ペアを用いることで、バックボーンとプロジェクターレイヤーの性能差が縮小され、事前学習タスクと下流タスクの整合性が高まることで、ギロチン正則化の必要性が低下することが示された。
• 最終プロジェクターレイヤーの表現は、しばしば高レベルの意味的情報（例：イヌの品種識別）を失っており、RCDMを用いた条件付き生成により、中間層の方がこのような情報をよりよく保持していることが明らかになった。
• ギロチン正則化の有効性は、トレーニング設定、データ、下流タスクに強く依存しており、すべてのシナリオにおいて普遍的な最適な層は存在しないことが示された。