[論文レビュー] Making Contrastive Learning Robust to Shortcuts

Tianhong Li, Lijie Fan+5 more|arXiv (Cornell University)|Dec 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 5

ひとこと要約

本論文は、短絡学習を是正するために隠れ空間における入力再構成を強制することで対照的学習を強化する再構成対照的学習（RCL）を提案する。対照的および再構成の目的関数を同時に最適化することにより、誤った特徴に依存しにくく、より頑健で一般化可能な表現を学習する。RCLは、多様なデータセットおよび多属性タスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Contrastive learning is one of the fastest growing research areas in machine learning due to its ability to learn useful representations without labeled data. However, contrastive learning is susceptible to shortcuts - i.e., it may learn shortcut features irrelevant to the task of interest, and discard relevant information. Past work has addressed this limitation via handcrafted data augmentations that eliminate the shortcut. But, manually crafted augmentations do not work across all datasets and tasks. Further, data augmentations fail in addressing shortcuts in multi-attribute classification when one attribute acts as a shortcut around other attributes. In this paper, we analyze the objective function of contrastive learning and formally prove that it is vulnerable to shortcuts. We then present reconstructive contrastive learning (RCL), a framework for learning unsupervised representations that are robust to shortcuts. The key idea is to force the learned representation to reconstruct the input, which naturally counters potential shortcuts. Extensive experiments verify that RCL is highly robust to shortcuts and outperforms state-of-the-art contrastive learning methods on a variety of datasets and tasks.

研究の動機と目的

• 対照的学習が、真のタスクに関係のないがラベルと相関する短絡的特徴に脆弱である問題に対処すること。
• データセット固有で、かつ1つの属性が短絡的要因として機能する多属性分類において効果を発揮しない手作業によるデータ拡張の限界を克服すること。
• 対照的学習の目的関数を形式的に分析し、短絡的学習への感受性を証明すること。
• タスク固有のデータ拡張に依存せずに、頑健性を向上させる汎用フレームワークを開発すること。

提案手法

• 入力データの忠実な表現を強制するため、対照的学習と自己符号化再構成損失を組み合わせた共同最適化目的関数を導入する。
• 対照的損失がポジティブサンプルの整合性を促進し、再構成損失が元の入力への忠実性を強制する二重ストリームエンコーダ・デコーダアーキテクチャを用いる。
• 標準的な対照的学習が、関係のない特徴の学習に対してペナルティを課さないため、短絡的学習に対して感受性であることを形式的に証明する。
• 事前学習中に再構成損失を適用し、表現空間を正則化することで、誤った相関を悪用する可能性を低減する。
• 再構成目的が、短絡的特徴に対するインダクティブバイアスとして機能するように、モデルがすべての入力情報を保持するように要求する。
• 表現品質と再構成忠実度のバランスを取るために、対照的損失と再構成損失の重み付き組み合わせを用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準的な対照的学習目的関数が、短絡的学習に対して形式的に感受性であることを証明できるか？
• RQ2 隠れ空間における入力再構成を強制することで、表現学習における短絡的学習が効果的に是正できるか？
• RQ3 RCLは、データ拡張が効果を発揮しない多様なデータセットおよび多属性分類タスクに一般化できるか？
• RQ4 短絡的条件下での頑健性と精度の観点から、RCLは最先端の対照的学習手法と比較して優れているか？

主な発見

• 論文は、関係のない特徴に対する明示的正則化が欠如しているため、標準的な対照的学習目的関数が短絡的学習に対して感受性であることを形式的に証明した。
• Cifar-100 や CUB-200 といった複数のベンチマークデータセットにおいて、制御された短絡的条件下で、RCLは短絡的特徴への依存を顕著に低減した。
• 多属性分類タスクにおいて、RCLは1つの属性が短絡的要因として機能する状況でも、最先端の対照的手法を上回る高い精度を維持した。
• RCLは、下流の線形評価プロトコルにおいて優れた性能を発揮し、一般化性能と頑健性の向上を示した。
• アブレーションスタディにより、再構成損失が短絡的学習の是正において重要な要素であることが確認され、この成分を除去すると性能が低下した。
• 従来のアプローチとは異なり、タスク固有のデータ拡張を必要とせず、RCLはデータセット間で良好に一般化した。