[論文レビュー] RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank

Quentin Garrido, Randall Balestriero+2 more|arXiv (Cornell University)|Oct 5, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

RankMe は、特徴量の有効ランクを特異値分解 (SVD) を用いて計算することにより、自己教師あり表現の下流性能をラベルなし・ハイパーパrameterなしで評価する手法を提案する。この手法は、ラベルやトレーニングを必要とせず、さまざまなデータセットやモデルでハイパーパrameter選定においてほぼ最適な性能を達成し、一部のケースではラベルを用いた手法を上回る。

ABSTRACT

Joint-Embedding Self Supervised Learning (JE-SSL) has seen a rapid development, with the emergence of many method variations but only few principled guidelines that would help practitioners to successfully deploy them. The main reason for that pitfall comes from JE-SSL's core principle of not employing any input reconstruction therefore lacking visual cues of unsuccessful training. Adding non informative loss values to that, it becomes difficult to deploy SSL on a new dataset for which no labels can help to judge the quality of the learned representation. In this study, we develop a simple unsupervised criterion that is indicative of the quality of the learned JE-SSL representations: their effective rank. Albeit simple and computationally friendly, this method -- coined RankMe -- allows one to assess the performance of JE-SSL representations, even on different downstream datasets, without requiring any labels. A further benefit of RankMe is that it does not have any training or hyper-parameters to tune. Through thorough empirical experiments involving hundreds of training episodes, we demonstrate how RankMe can be used for hyperparameter selection with nearly no reduction in final performance compared to the current selection method that involve a dataset's labels. We hope that RankMe will facilitate the deployment of JE-SSL towards domains that do not have the opportunity to rely on labels for representations' quality assessment.

研究の動機と目的

• 共同埋め込み自己教師あり学習 (JE-SSL) における自己教師あり表現の原理的でラベルフリーな評価基準の欠如に対処すること。
• 下流のラベルや視覚的検査手法に依存せずに、JE-SSL の信頼性の高いモデル選定とハイパーパラメータチューニングを可能にすること。
• さまざまなアーキテクチャやデータセットにおいて、下流性能と強く相関する、シンプルで計算効率が良く、解釈可能な指標を開発すること。
• 特にリソースが限られた環境やラベルなしドメインにおいて、JE-SSL のデプロイ段階でのラベル依存度を低減すること。

提案手法

• RankMe は、JE-SSL トレーニング中のプロジェクタ出力から形成される埋め込み行列の有効ランクを特異値分解 (SVD) を用いて計算する。
• 特異値の分布を用いて有効ランクを推定し、これにより表現品質の代理指標とする。
• この手法は完全に教師なしであり、トレーニング、ハイパーパラメータ、ラベルを一切必要とせず、事前学習済みモデルの埋め込み行列のみを必要とする。
• 有効ランクは、特異値の二乗和を最大可能ランクで正規化した値として計算される。
• このアプローチは、入力ランクが高いほど線形分類器の性能が向上することを示すカバーの定理に基づいている。
• ラベルがなくても、埋め込みランクに基づいてモデルをランク付けすることでハイパーパラメータの交差検証が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ラベルやトレーニングデータを一切使用せずに、自己教師あり埋め込みの有効ランクは下流性能を予測できるか？
• RQ2 異なる SSL メソッド（例：SimCLR, VICReg, DINO）やアーキテクチャにおいて、埋め込みランクと下流精度の相関はどの程度高いか？
• RQ3 RankMe を用いてラベルに依存せずに JE-SSL モデルの最適ハイパーパラメータを選択できるか？
• RQ4 トレーニングデータと評価データの分布が異なる分布外（OOD）データセットに対しても RankMe は一般化可能か？
• RQ5 複数のランダムシードやトレーニングランにわたって RankMe は頑健で安定しているか？

主な発見

• RankMe は、110 モデル、11 データセット、5 つの SSL メソッドにおいて、ハイパーパラメータ選定でほぼ最適な下流性能を達成し、ラベルを用いた手法を上回るか同等の性能を示した。
• RankMe は、インダストリー（ImageNet, CIFAR10, CIFAR100, FOOD101, VOC07, CLEVR-count）およびアウトオブディストリビューション（OOD）データセットにおいて、埋め込みランクと下流精度の強い相関を示した。
• 例えば、ImageNet では、ラベルなしで RankMe が選択したモデルが、最良のラベル付きモデルと比較してトップ1精度で1%以内の差に留まり、ラベルの必要がなかった。
• 埋め込みの有効ランクは、11 データセットおよび 110 回のトレーニングランにわたって一貫した性能を示し、安定的で信頼性の高い指標であることが判明した。
• ラベルが入手不可の状況でも、RankMe は 11 データセットのうち 7 データセットでベースライン手法を上回った。
• RankMe は、SimCLR, VICReg, DINO などの異なる SSL フレームワークおよび線形分類や k-NN 分類を含むさまざまな評価プロトコルにおいて、頑健に機能した。