[論文レビュー] On the Effectiveness of Out-of-Distribution Data in Self-Supervised Long-Tail Learning

Jianhong Bai, Zuozhu Liu+5 more|arXiv (Cornell University)|Jun 8, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文は、長尾データセットにおける性能向上を図るために、ラベルなしの分布外（OOD）データを活用する新しい自己教師強化学習フレームワークCOLTを提案する。特徴空間内でテイルクラスに近接するOODサンプルを動的にサンプリングし、分布に配慮した対照的損失を適用することで、表現学習を顕著に向上させ、高価なインディストリビューション（ID）データに依存する最先端手法を上回る性能を達成する。

ABSTRACT

Though Self-supervised learning (SSL) has been widely studied as a promising technique for representation learning, it doesn't generalize well on long-tailed datasets due to the majority classes dominating the feature space. Recent work shows that the long-tailed learning performance could be boosted by sampling extra in-domain (ID) data for self-supervised training, however, large-scale ID data which can rebalance the minority classes are expensive to collect. In this paper, we propose an alternative but easy-to-use and effective solution, Contrastive with Out-of-distribution (OOD) data for Long-Tail learning (COLT), which can effectively exploit OOD data to dynamically re-balance the feature space. We empirically identify the counter-intuitive usefulness of OOD samples in SSL long-tailed learning and principally design a novel SSL method. Concretely, we first localize the `head' and `tail' samples by assigning a tailness score to each OOD sample based on its neighborhoods in the feature space. Then, we propose an online OOD sampling strategy to dynamically re-balance the feature space. Finally, we enforce the model to be capable of distinguishing ID and OOD samples by a distribution-level supervised contrastive loss. Extensive experiments are conducted on various datasets and several state-of-the-art SSL frameworks to verify the effectiveness of the proposed method. The results show that our method significantly improves the performance of SSL on long-tailed datasets by a large margin, and even outperforms previous work which uses external ID data. Our code is available at https://github.com/JianhongBai/COLT.

研究の動機と目的

• 多数クラスが特徴空間を支配するため、自己教師強化学習（SSL）が長尾データセットで一般化性能に劣る問題に対処すること。
• インディストリビューション（ID）データが入手困難または高コストである状況において、ラベルなしの分布外（OOD）データがSSL性能を効果的に向上させられるかを検討すること。
• ラベルなしOODデータを必要とせず、OODサンプルを用いて特徴空間を動的に再平衡化する実用的でデータ効率の良い手法を開発すること。
• IDとOODの分布を区別する新しい対照的学習目的を用いて、マイノリティ（テイル）クラスにおけるモデルのロバスト性と線形分離可能性を向上させること。

提案手法

• 近傍密度に基づいて、特徴空間におけるヘッドクラスとテイルクラスのサンプルを無教師的に局所化するためのテイルネススコアを提案する。
• テイルクラスまたはヘッドクラスと高いコサイン類似度を持つOODサンプルを選択するオンラインOODサンプリング戦略を設計し、予算に配慮した関数を用いてテイルクラスに多くのサンプルを割り当てる。
• トレーニング中にIDとOODサンプルを明示的に分離するための分布レベルの監督付き対照的損失を導入し、分布認識を向上させる。
• OODサンプルを対照的学習パイプラインに統合し、標準的なデータ拡張とMoCoスタイルのキュー機構を用いる。
• トレーニング中に特徴空間の動的バランスを維持するために、定期的な間隔でリサンプリング機構を採用する。
• マルチステージトレーニングパイプラインを採用：(1) テイルネススコアによる特徴空間分析、(2) オンラインOODサンプリング、(3) 分布に配慮した損失を用いた対照的トレーニング。

実験結果

リサーチクエスチョン

• RQ1 インディストリビューション（ID）データが乏しい状況において、ラベルなしの分布外（OOD）データが、長尾データセットにおける自己教師強化学習性能を効果的に向上させられるか？
• RQ2 OODサンプルはどのように選択・統合され、マイノリティ（テイル）クラスに利益をもたらすように動的に特徴空間を再平衡化できるか？
• RQ3 自己教師強化学習のトレーニング中に、IDとOODの分布を区別する分布に配慮した対照的損失が果たす影響は何か？
• RQ4 外部IDデータを用いる最先端のSSL手法と比較して、COLTの性能はどの程度か？
• RQ5 リサンプリング間隔やtop-kサンプリングといったハイパーパrameterの選択に対して、この手法はどの程度ロバストか？

主な発見

• COLTは、ラベルなしのインディストリビューションデータを一切使用せずに、さまざまなSSLフレームワークの長尾データセットにおける性能を顕著に向上させ、最先端の結果を達成する。
• CIFAR-100-LTでは、標準的なSSLベースラインと比較して線形評価精度を10%以上向上させ、外部IDデータを用いる手法をも凌駕する。
• 可視化と指標分析から、特にテイルクラスにおいて、特徴空間の均一性と整合性が向上していることが示された。
• 分布に配慮した対照的損失により、クラス間の性能ばらつきが低減され、標準偏差が低下し、クラス不均衡の緩和が見られた。
• OODサンプルの予算が1万～1万5千程度に達すると、性能向上の伸びが鈍り、高いデータ効率と限界利得の減少が示された。
• 同じOODデータを用いた場合、COLTは半教師あり学習ベースライン（例：FixMatch、FlexMatch）を上回る性能を発揮しており、SSLに直接統合する方が、疑似ラベル付けよりも効果的であることが示唆された。