[論文レビュー] The Hidden Uniform Cluster Prior in Self-Supervised Learning

Mahmoud Assran, Randall Balestriero+7 more|arXiv (Cornell University)|Oct 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

この論文は、SimCLR、VICReg、SwAV、MSN などの自己教師あり学習手法に隠れた一様クラスタープライアを特定し、モデルが均等なサイズのクラスタを学習するように偏るという事実を示している。著者らは、このプライアがクラス不均衡データセットで性能を低下させることを示し、自然のデータ分布に整合するべき力の法則に従うクラスタープライアに置き換えることで、表現品質と転移性能を向上させるための「PMSN（Prior Matching for Siamese Networks）」を提案している。この手法は、iNaturalist 2018 などの長尾データセットで顕著な性能向上を達成している。

ABSTRACT

A successful paradigm in representation learning is to perform self-supervised pretraining using tasks based on mini-batch statistics (e.g., SimCLR, VICReg, SwAV, MSN). We show that in the formulation of all these methods is an overlooked prior to learn features that enable uniform clustering of the data. While this prior has led to remarkably semantic representations when pretraining on class-balanced data, such as ImageNet, we demonstrate that it can hamper performance when pretraining on class-imbalanced data. By moving away from conventional uniformity priors and instead preferring power-law distributed feature clusters, we show that one can improve the quality of the learned representations on real-world class-imbalanced datasets. To demonstrate this, we develop an extension of the Masked Siamese Networks (MSN) method to support the use of arbitrary features priors.

研究の動機と目的

• 自己教師あり学習手法が特徴の均等クラスタリングに向かう暗黙の偏りを調査すること。
• 実世界のクラス不均衡データセット（例：iNaturalist 2018）でこれらの手法が性能を発揮できない理由を説明すること。
• 自然のデータ分布に整合する力の法則に従うクラスタープライアに、一様クラスタープライアを置き換える手法を開発すること。
• 長尾データセットにおける表現品質と下流タスクの転移性能の向上を実証すること。

提案手法

• 理論的分析により、SimCLR、VICReg、SwAV、MSN などの手法に含まれる体積最大化正則化項が、暗黙的に一様クラスタープライアを強制していることを示した。
• 著者らは、マスクドシアンズネットワーク（MSN）を拡張し、任意の特徴プライアをサポートするようにし、シアンズネットワーク用の「PMSN（Prior Matching for Siamese Networks）」を導入した。
• PMSN は自己教師ありの基準を再定式化し、力の法則に従う分布に従うクラスタを優遇するように設計された。これは、現実のデータの長尾的分布と整合する。
• この手法は、自然なクラス分布を反映するようにクラスタリングを促進する学習可能なプライアを用いた対照的目的に基づいている。
• 実験では、長尾データセット上で PMSN を標準 MSN や他の自己教師あり手法と比較し、下流タスクの転移性能を評価した。
• 線形評価、低ショット学習、RCDM を用いた再構成によるプロトタイプ関連の可視化により、手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 体積最大化正則化項を備えた現在の自己教師あり学習手法が示す暗黙の帰納的バイアスは何か？
• RQ2 これらの手法が、クラス不均衡データセットで事前学習を行うと、なぜ性能が低下するのか？
• RQ3 一様クラスタープライアを力の法則に従うクラスタープライアに置き換えることで、長尾データにおける表現品質が向上するか？
• RQ4 PMSN の性能は、標準 MSN や他の自己教師あり手法と比較して、実世界の不均衡データセットでどのように異なるか？

主な発見

• SimCLR や VICReg、MSN などの手法に見られる一様クラスタープライアは、ミニバッチがクラスに不均衡な場合、特に顕著な性能低下を引き起こす。
• iNaturalist 2018 データセットでは、力の法則プライアを用いた PMSN が、標準 MSN や他のベースラインを上回り、線形評価精度が高くなった。
• 不均衡サンプリング下での低ショット ImageNet 評価では、PMSN は力の法則プライアを用いて 28.0% の精度を達成したのに対し、標準 MSN は 59.4% であり、ベースライン比で 31.4 ポints の向上を示した。
• CIFAR100 で 1% のデータを使用した場合、MSN は不均衡サンプリング下で 46.2% から 26.4% に低下し、19.8 ポイントの低下を示した。これは、一様プライアのデータ不均衡への感受性を示している。
• data2vec や MAE は、不均衡サンプリング下でも性能低下が最小限に抑えられ、一様性バイアスに対して感受性が低いことが示唆された。
• RCDM を用いた可視化により、PMSN がより意味的に明確なプロトタイプを学習していることが確認され、クラスターエンベッディングからの画像再構成が明確になった。