[論文レビュー] SCARF: Self-Supervised Contrastive Learning using Random Feature\n Corruption

Dara Bahri, Heinrich Jiang+2 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning被引用数 37

ひとこと要約

SCARF は、経験的マージナルから抽出されたランダムな特徴破損を用いたタブularデータのシンプルな自己-supervised contrastive pre-training を導入し、教師あり性能を向上させ、ラベルノイズに対する頑健性を高め、OpenML-CC18データセットでの半教師あり学習を実現します。

ABSTRACT

Self-supervised contrastive representation learning has proved incredibly\nsuccessful in the vision and natural language domains, enabling\nstate-of-the-art performance with orders of magnitude less labeled data.\nHowever, such methods are domain-specific and little has been done to leverage\nthis technique on real-world tabular datasets. We propose SCARF, a simple,\nwidely-applicable technique for contrastive learning, where views are formed by\ncorrupting a random subset of features. When applied to pre-train deep neural\nnetworks on the 69 real-world, tabular classification datasets from the\nOpenML-CC18 benchmark, SCARF not only improves classification accuracy in the\nfully-supervised setting but does so also in the presence of label noise and in\nthe semi-supervised setting where only a fraction of the available training\ndata is labeled. We show that SCARF complements existing strategies and\noutperforms alternatives like autoencoders. We conduct comprehensive ablations,\ndetailing the importance of a range of factors.\n

研究の動機と目的

• タブular データの自己-supervised でドメイン非依存の事前学習アプローチを動機づけ、開発する。
• empirical marginals から抽出された乱択の特徴サブセットを破損させてビューを形成する。
• 完全に教師付き、ラベルノイズ、半教師あり設定での下流の分類性能の改善を示す。
• Scarf の有効性を確立するために、ハイパーパラメータへの頑健性と設計選択のアブレーションを行う。

提案手法

• 特徴のサブセットをランダムに選択し、それぞれをその経験的限界分布からの乱択サンプルに置換して破損ビューを生成する。
• 元のビューと破損ビューの両方をエンコーダ f と事前学習ヘッド g に通し、z と z~ を取得する。
• InfoNCE ロスを用いて z と z~ を整列させつつ、 negatives を他のサンプルと区別する。
• エンコーダ f に分類ヘッド h を接続して、ラベル付きデータでエンドツーエンドに訓練してファインチューニングを行う。
• 事前学習の期間を決定するために、検証時の InfoNCE ロスで early stopping を任意に用いる。

実験結果

リサーチクエスチョン

• RQ1 Scarf pre-training は完全に教師付き設定においてタブular データの下流分類精度を向上させるか。
• RQ2 Scarf はラベルノイズに頑健で、半教師あり設定で有用か。
• RQ3 Scarf は他の正則化または拡張技術と、異なるハイパーパラメータとどのように相互作用するか。
• RQ4 タブular データに対して、Scarf の提案手法より効果が低い代替の破壊スキームや損失はあるか。
• RQ5 ビュー構築と破損戦略の重要性について、どのアブレーションが示されるか。

主な発見

• Scarf pre-training は 69 件の OpenML-CC18 タブular データセットを横断して、非事前学習ベースラインよりも性能を改善する。
• Scarf はラベルノイズ下でも、また訓練データの一部のみがラベル付きである半教師あり設定でも性能を向上させる。
• Scarf を他の手法（例: mixup、ラベルスムージング、蒸留、ドロップアウト）と組み合わせると追加の利点が得られ、相補的な利益を示す。
• アブレーションは Scarf のマージナルサンプリング破壊が、代替の破壊よりも有効であり特徴量のスケーリングに対して頑健であることを示す。
• Scarf はバッチサイズ、破壊率、softmax 温度に対して比較的鈍感で、適切なデフォルト値（例: c ≈ 0.6） が良く機能する。