[論文レビュー] Self-supervised Learning is More Robust to Dataset Imbalance

Hong Liu, Jeff Z. HaoChen+2 more|arXiv (Cornell University)|Oct 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 68被引用数 63

ひとこと要約

本論文は自己教師あり学習（SSL）表現が教師あり表現よりクラス不均衡に対してより頑健であることを示し、理論的および経験的説明を提供し、不均衡データ上でのSSLをさらに改善する再重み付けベースの正則化を導入している。

ABSTRACT

Self-supervised learning (SSL) is a scalable way to learn general visual representations since it learns without labels. However, large-scale unlabeled datasets in the wild often have long-tailed label distributions, where we know little about the behavior of SSL. In this work, we systematically investigate self-supervised learning under dataset imbalance. First, we find out via extensive experiments that off-the-shelf self-supervised representations are already more robust to class imbalance than supervised representations. The performance gap between balanced and imbalanced pre-training with SSL is significantly smaller than the gap with supervised learning, across sample sizes, for both in-domain and, especially, out-of-domain evaluation. Second, towards understanding the robustness of SSL, we hypothesize that SSL learns richer features from frequent data: it may learn label-irrelevant-but-transferable features that help classify the rare classes and downstream tasks. In contrast, supervised learning has no incentive to learn features irrelevant to the labels from frequent examples. We validate this hypothesis with semi-synthetic experiments and theoretical analyses on a simplified setting. Third, inspired by the theoretical insights, we devise a re-weighted regularization technique that consistently improves the SSL representation quality on imbalanced datasets with several evaluation criteria, closing the small gap between balanced and imbalanced datasets with the same number of examples.

研究の動機と目的

• 事前学習時にクラス不均衡が自己教師あり表現に与える影響を調査する。
• In-domainおよびOut-of-domain評価を用いて、SSLと教師あり事前学習のロバスト性を比較する。
• 不均衡下でのSSLの頑健性に関する理論的・経験的説明を開発する。
• 不均衡データ上でのSSL性能を向上させる再重み付け正則化技法を提案する。

提案手法

• CIFAR-10とImageNetで、さまざまな不均衡比とサンプルサイズを用いて、SSL（MoCo v2とSimSiam）と監督付き事前学習を体系的に評価する。
• 均衡なin-domainデータ上での線形探査（linear probing）と、ダウンストリームのout-of-domainデータへのファインチューニングを通じて表現品質を評価する。
• 不均衡下でSSLと教師あり学習が学習する特徴を対比するための簡易な理論的設定を提供する。
• SSLとSLが学習する転移可能特徴とラベル関連特徴を可視化する半合成実験を実施する。
• カーネル密度に基づくインスタンス重み付けを用いた再重み付けシャープネスアウェア最小化（rwSAM）を導入し、不均衡データ上のSSLを改善する。

実験結果

リサーチクエスチョン

• RQ1 データセットの不均衡は、IDおよびOOD評価においてSSLと教師あり表現の品質にどのように影響するか？
• RQ2 SSLが頻繁なクラスから転移可能な特徴を学習し、それが希少クラスを助ける理由は何か？
• RQ3 再重み付け正則化は不均衡データセットでのSSL性能を向上させることができるか、そして希少例に対する一般化にどのように影響するか？
• RQ4 理論的な toy 設定と半合成実験は、SSLがラベルに依存しないが転移可能な特徴を捉えているという主張を支持するか？

主な発見

• SSL表現は、複数の設定において教師あり表現よりクラス不均衡に対して頑健である。
• 平衡と不均衡の事前学習間の頑健性のギャップは、IDおよびOOD評価のいずれにおいてもSSLの方がSLより小さい。
• SSLは頻繁なクラスからより豊かで転移可能な特徴を学習する傾向があり、それが希少クラスやダウンストリームタスクの助けになる。
• 再重み付けシャープネスアウェア最小化（rwSAM）法は、不均衡データセット上でSSL表現の品質を一貫して改善し、平衡データとの差の一部を縮める。