[論文レビュー] Investigating Power laws in Deep Representation Learning

Arna Ghosh, Arnab Kumar Mondal+2 more|arXiv (Cornell University)|Feb 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文では、深層ニューラルネットワークの表現の固有スペクトルのべき乗則減衰係数 α を、ラベルなしの表現品質の代理指標として使用することを提案する。多様なアーキテクチャおよび自己教師あり学習目的における特徴共分散行列の分析を通じて、α ≈ 1 が下流の一般化性能およびラベルノイズに対するロバストネスと強く相関していることが判明した。これは、下流タスクを必要とせず、ラベルなしでスケーラブルに自己教師あり表現の品質を評価するための指標を提供する。

ABSTRACT

Representation learning that leverages large-scale labelled datasets, is central to recent progress in machine learning. Access to task relevant labels at scale is often scarce or expensive, motivating the need to learn from unlabelled datasets with self-supervised learning (SSL). Such large unlabelled datasets (with data augmentations) often provide a good coverage of the underlying input distribution. However evaluating the representations learned by SSL algorithms still requires task-specific labelled samples in the training pipeline. Additionally, the generalization of task-specific encoding is often sensitive to potential distribution shift. Inspired by recent advances in theoretical machine learning and vision neuroscience, we observe that the eigenspectrum of the empirical feature covariance matrix often follows a power law. For visual representations, we estimate the coefficient of the power law, $α$, across three key attributes which influence representation learning: learning objective (supervised, SimCLR, Barlow Twins and BYOL), network architecture (VGG, ResNet and Vision Transformer), and tasks (object and scene recognition). We observe that under mild conditions, proximity of $α$ to 1, is strongly correlated to the downstream generalization performance. Furthermore, $α\approx 1$ is a strong indicator of robustness to label noise during fine-tuning. Notably, $α$ is computable from the representations without knowledge of any labels, thereby offering a framework to evaluate the quality of representations in unlabelled datasets.

研究の動機と目的

• 深層ニューラルネットワーク表現の固有スペクトルがべき乗則に従うかどうかを調査すること。特に自己教師あり学習において。
• べき乗則係数 α が下流の一般化性能および分布シフトやラベルノイズに対するロバストネスとどのように相関するかを特定すること。
• 下流ラベルへのアクセスを必要としない、表現品質のラベルなし評価指標を開発すること。
• ノイズのある教師付き微調整の過程における α とモデルのロバストネスの関係を調査すること。
• α が、アーキテクチャや学習目的にかかわらず、表現品質の原理的かつスケーラブルな代理指標として機能できるかどうかを評価すること。

提案手法

• 大規模なラベルなしデータセット上の深層ネットワーク活性化から、経験的特徴共分散行列 Σ_N(f) を計算する。
• Σ_N(f) の固有スペクトルを計算し、べき乗則 λ_i ∝ i^(-α) をフィットして減衰係数 α を推定する。
• 異なるネットワークアーキテクチャ（VGG、ResNet、ビジョントランスフォーマー）、学習目的（教師あり、SimCLR、Barlow Twins、BYOL）、および下流タスク（物体認識およびシーン認識）において α を評価する。
• α を表現品質の代理指標として用い、STL-10 および ImageNet における下流精度と相関をとる。
• 15% のラベルノイズを伴う微調整を実施し、訓練エポックに伴う α と精度の変化を追跡してロバストネスを評価する。
• モデルおよび学習目的ごとに α を比較し、ラベルに依存しない表現品質のパターンを同定する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク表現の固有スペクトルはべき乗則に従うか。その減衰係数 α の値は何か？
• RQ2 異なるアーキテクチャおよび学習目的において、α は下流の一般化性能とどのように相関するか？
• RQ3 微調整中のラベルノイズに対して α はロバストネスの信頼できる予測因子か？
• RQ4 α は自己教師あり学習における表現品質のラベルなし評価指標として使用可能か？
• RQ5 α ≈ 1 は、より良い一般化性能およびロバストネスを可能にする表現の根本的性質を示唆するか？

主な発見

• 固有スペクトルのべき乗則減衰係数 α は、STL-10 および ImageNet における下流分類精度と強く相関しており、性能が α ≈ 1 のときにピークに達する。
• 自己教師あり目的（例：Barlow Twins、SimCLR）で事前学習されたモデルは α ≈ 1 を示し、教師あり事前学習に比べて高い精度（例：STL-10 で 91.81%）を達成する。
• 微調整時に 15% のラベルノイズが存在する状況では、α が 1 に近いモデル（例：Barlow Twins）は著しく優れたロバストネスを示し、精度低下は約 3.36% にとどまる。一方、教師あり事前学習では約 8.20% の低下を示す。
• 微調整が進み検証精度が向上するにつれて、α は両側から 1 に近づくことが示され、性能とスペクトル構造との間には動的な関係があることが示唆される。
• ViT アーキテクチャでは、初期層でグローバルな受容 field により α > 1 を示し、初期表現における高い冗長性と低い有効ランクを示唆する。
• α はラベルなしの表現から計算可能であるため、ラベルなしデータセットにおける自己教師あり表現の評価に実用的でスケーラブルな指標となる。