[論文レビュー] The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning

Romain Cosentino, Sarath Shekkizhar+3 more|arXiv (Cornell University)|Sep 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、多様体グラフ指標（MGMs）を用いたデータ駆動型幾何的フレームワークを提案し、自己教師あり学習（SSL）モデルの分析を行う。その結果、転移学習性能は、拡張多様体の不変性や広がりといった幾何的性質と強く関連していることが明らかになった。従来の損失関数やアーキテクチャに注目する手法とは異なり、本手法は特徴空間の幾何的性質を直接測定し、特に2次統計量が、多様な下流タスクにおける転移性能を予測することを示した。

ABSTRACT

Self-supervised learning (SSL) has emerged as a desirable paradigm in computer vision due to the inability of supervised models to learn representations that can generalize in domains with limited labels. The recent popularity of SSL has led to the development of several models that make use of diverse training strategies, architectures, and data augmentation policies with no existing unified framework to study or assess their effectiveness in transfer learning. We propose a data-driven geometric strategy to analyze different SSL models using local neighborhoods in the feature space induced by each. Unlike existing approaches that consider mathematical approximations of the parameters, individual components, or optimization landscape, our work aims to explore the geometric properties of the representation manifolds learned by SSL models. Our proposed manifold graph metrics (MGMs) provide insights into the geometric similarities and differences between available SSL models, their invariances with respect to specific augmentations, and their performances on transfer learning tasks. Our key findings are two fold: (i) contrary to popular belief, the geometry of SSL models is not tied to its training paradigm (contrastive, non-contrastive, and cluster-based); (ii) we can predict the transfer learning capability for a specific model based on the geometric properties of its semantic and augmentation manifolds.

研究の動機と目的

• 訓練パラダイム（対照的、非対照的、クラスタリング）、アーキテクチャ、損失関数に依存しない、多様なSSLモデルを統一的に分析する幾何的フレームワークの構築。
• 学習済み表現の幾何的性質、特にデータ拡張に対する不変性と等長性が、転移学習性能に与える影響の理解。
• 投影ヘッドの依存性を回避する、データ駆動型でグラフベースの手法を提供し、任意のネットワーク層における特徴空間の多様体構造を捉える。
• 下流タスクにおける転移学習成功と相関するSSLモデルの幾何的特徴の同定、特に低ショットまたは分布外設定での応用を想定。
• 幾何的指標を用いた転移学習能力の予測を可能とし、モデル選定やタスク固有のSSLトレーニング戦略の設計に新たなツールを提供。

提案手法

• データポイントとその拡張を用いて、SSLモデルの特徴空間に局所的近傍グラフを構築し、意味的多様体と拡張多様体を形成する。
• 意味的等長性、回転アフィニティ、拡張不変性の広がりといった幾何的性質を測定するための多様体グラフ指標（MGMs）を定義する。
• 平均距離、分散、分布の広がりといったグラフベースの指標を計算し、表現多様体の不変性と曲率を捉える。
• 回帰モデルを用いて、10の多様なタスクにおけるMGMと下流タスクの転移学習精度の相関関係を分析し、特徴選択と性能予測を可能にする。
• ResNet50およびViTバックボーンを用い、さまざまなSSL手法（対照的、非対照的、クラスタリング）で事前学習したモデルのエンコーダー層における特徴を分析する。
• スペクトル理論およびグラフ理論的コンセプトを活用し、解釈可能性とスケーラビリティを確保し、実証的検証を超えた理論的拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対照的、非対照的、クラスタリングといった異なる訓練パラダイムを採用するSSLモデル間で、学習済み特徴多様体の幾何的性質はどのように比較できるか？
• RQ2 SSL表現のどの幾何的特徴（例えば、特定の拡張に対する不変性や多様体の広がり）が、転移学習性能を予測するのに有効か？
• RQ3 分布内と分布外の両方の転移設定において、表現多様体の幾何が転移性能とどれほど強く相関しているか？
• RQ4 エンコーダー特徴空間から導出される幾何的指標は、標準的なImageNet精度ベンチマークよりも、転移学習精度をよりよく予測できるか？
• RQ5 2次統計量（例：分散、広がり）が、少データ学習やドメインシフトが生じる状況下での転移性能にどのように関連しているか？

主な発見

• SSLモデルの幾何は、訓練パラダイム（対照的、非対照的、クラスタリングベース）に本質的に依存しておらず、異なるアーキテクチャや損失関数を持つモデルでも、類似した幾何的性質を示す。
• 多ショットおよび微調整タスクでは、転移性能が意味的等長性、回転アフィニティ、拡張アフィニティといった幾何的性質と負の相関を示し、不変性が高いほど性能が向上することを示している。
• 少データ学習やドメインシフトが生じるタスク（例：CDFSL、検出、セグメンテーション）では、1次不変性指標よりも、2次統計量（特に拡張多様体の広がり）が転移性能をよりよく予測する。
• MGMと転移精度の相関は、ほとんどのタスクで統計的に有意（p ≤ 0.01）であるが、密なセグメンテーションタスクでは有意でない（p = 0.34）ことが判明した。
• 提案されたMGMは、単純な回帰を用いて、多様な下流タスクにおける転移学習性能を成功裏に予測でき、特にクロップおよびカラージッターのアフィニティの広がりといった主要な指標が、検出およびセグメンテーションタスクで強く正の相関を示した。
• 結果から、特にドメインシフトが大きい状況下では、特定の下流タスクに最適化された幾何的性質（特に広がりと不変性）を備えたSSLモデルの設計が、転移性能の向上に寄与することが示唆された。