[論文レビュー] How Robust is Unsupervised Representation Learning to Distribution Shift?

Yuge Shi, Imant Daunhawer+3 more|arXiv (Cornell University)|Jun 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿は、分布シフト下における教師なし表現学習（SSLおよびオートエンコーダ）と教師あり学習（SL）のロバスト性を調査する。制御可能な合成および現実的ドメイン一般化データセットを用いて、極端かつ微細な分布シフト下でも、SSLおよびオートエンコーダ表現がSLよりも顕著に優れた一般化性能を示す。特に、表現のロバスト性を分離するために、分布外（OOD）データで訓練された線形ヘッドを用いた評価により、ヘッドバイアスの影響を排除する。

ABSTRACT

The robustness of machine learning algorithms to distributions shift is primarily discussed in the context of supervised learning (SL). As such, there is a lack of insight on the robustness of the representations learned from unsupervised methods, such as self-supervised learning (SSL) and auto-encoder based algorithms (AE), to distribution shift. We posit that the input-driven objectives of unsupervised algorithms lead to representations that are more robust to distribution shift than the target-driven objective of SL. We verify this by extensively evaluating the performance of SSL and AE on both synthetic and realistic distribution shift datasets. Following observations that the linear layer used for classification itself can be susceptible to spurious correlations, we evaluate the representations using a linear head trained on a small amount of out-of-distribution (OOD) data, to isolate the robustness of the learned representations from that of the linear head. We also develop "controllable" versions of existing realistic domain generalisation datasets with adjustable degrees of distribution shifts. This allows us to study the robustness of different learning algorithms under versatile yet realistic distribution shift conditions. Our experiments show that representations learned from unsupervised learning algorithms generalise better than SL under a wide variety of extreme as well as realistic distribution shifts.

研究の動機と目的

• 教師なし表現学習（SSLおよびオートエンコーダ）の分布シフトに対するロバスト性を調査すること。これは、実世界のML導入における主要な課題である。
• 現在、教師あり学習研究が支配的であるが、分布シフト状況における教師なし手法の体系的評価が不足しているという問題を解決すること。
• 線形分類ヘッドのバイアスが性能比較に与える影響を分離し、学習済み表現のロバスト性を正確に評価すること。
• 分布シフト強度を調整可能な制御可能な、現実的ドメイン一般化データセットを構築し、より洗練された評価を可能とすること。
• 入力駆動型の教師なし目的が、分布シフト下で教師あり目的よりもよりロバストな表現を生成することを実証的根拠で示すこと。

提案手法

• 相関に基づくシフトパラメータ $ r_{\text{id}} $ を用いて、分布シフト強度を調整可能な実世界ドメイン一般化データセット（WILDS-Camelyon17およびFMoW）の制御可能なバージョンを設計・実装した。
• 分布外（OOD）データで少量のデータを用いて訓練した線形ヘッドを用いて、SSL（例：SimCLR、MoCo）およびオートエンコーダ（AE）モデルを評価し、ヘッド固有のバイアスからの表現ロバスト性を分離した。
• 極端かつ微細な分布シフト下での性能を評価するため、合成データセット（例：MNIST-CIFAR、CdSprites）および現実的データセット（例：WILDS）を用いて広範な実験を実施した。
• 公平な比較を確保するため、OODで訓練されたヘッドを用いた線形プローブ評価プロトコルを採用し、ヘッド固有の誤った相関が性能評価に与える影響を回避した。
• モデルの性能を、OODテストセットにおける正確性と、さまざまなシフトレベルでの性能変化（シフト感受性）で測定し、複数のシフト強度で結果を報告した。
• SSL、AE、SLモデルを、インハウス（ID）正確性、OOD正確性、シフトに対するロバスト性といった複数の指標で比較し、制御されたおよび現実的な分布シフト条件下で評価した。

実験結果

リサーチクエスチョン

• RQ1 極端な分布シフト下において、SSLおよびオートエンコーダ表現は、教師あり表現と比べてどのようにOOD一般化性能を発揮するか？
• RQ2 線形分類ヘッドが、分布シフト状況下での性能評価に誤った相関を導入する程度はどの程度か？
• RQ3 調整可能な分布シフト強度を持つ制御可能で現実的なドメイン一般化データセットは、表現ロバスト性の評価をどのように改善できるか？
• RQ4 現実世界のシナリオにおける、さまざまな分布シフト度合い下で、SSLおよびAE表現のロバスト性はSLと比べてどの程度異なるか？
• RQ5 教師なし学習の入力駆動型目的が、教師あり学習のターゲット駆動型目的よりも、分布シフト下でよりロバストな表現を生成するか？

主な発見

• SSL表現は、極端な合成的シフトおよび現実的ドメインシフトを含む、すべてのテストされた分布シフト設定で、教師あり学習と同等またはそれ以上のOOD正確性を達成した。
• WILDS-Camelyon17データセットでは、SSLモデルがSL比で3%のOOD正確性向上を達成した。FMoWでは5%のリードを記録し、現実的シフト下でも一貫した優位性を示した。
• OODデータで訓練された線形ヘッドは、表現ロバスト性を効果的に分離でき、SSLおよびAE表現がSL表現よりも本質的にロバストであることが明らかになった。
• SSLモデルは、さまざまな分布シフト強度下でも最小のシフト感受性を示し、シフト強度が増加しても安定した性能を維持した。
• オートエンコーダベースのモデルは、現実的データセットでは分布シフトに対して最も感受性が低かったが、FMoWのような複雑なデータではOOD性能が低かった。これは、安定性と表現能力のトレードオフを示唆している。
• 本研究は、分布シフト評価における線形ヘッドバイアスの存在を確認した。標準的な評価プロトコルはモデルのロバスト性を歪める可能性があり、今後の比較においてはOODで訓練された線形ヘッドの使用を提唱する。