[論文レビュー] Representation Learning via Invariant Causal Mechanisms

Jovana Mitrovic, Brian McWilliams+3 more|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 41

ひとこと要約

ReLIC は自己教師付き表現学習の不変因果メカニズム正則化を導入し、代理ターゲットの予測が拡張（データ拡張）間で不変になるよう強制し、理論的支持と堅牢性、OOD一般化、および Atari の性能で強い実証的向上を得る。

ABSTRACT

Self-supervised learning has emerged as a strategy to reduce the reliance on costly supervised signal by pretraining representations only using unlabeled data. These methods combine heuristic proxy classification tasks with data augmentations and have achieved significant success, but our theoretical understanding of this success remains limited. In this paper we analyze self-supervised representation learning using a causal framework. We show how data augmentations can be more effectively utilized through explicit invariance constraints on the proxy classifiers employed during pretraining. Based on this, we propose a novel self-supervised objective, Representation Learning via Invariant Causal Mechanisms (ReLIC), that enforces invariant prediction of proxy targets across augmentations through an invariance regularizer which yields improved generalization guarantees. Further, using causality we generalize contrastive learning, a particular kind of self-supervised method, and provide an alternative theoretical explanation for the success of these methods. Empirically, ReLIC significantly outperforms competing methods in terms of robustness and out-of-distribution generalization on ImageNet, while also significantly outperforming these methods on Atari achieving above human-level performance on $51$ out of $57$ games.

研究の動機と目的

• 一般化を向上させるために、因果的視点（内容とスタイル）を用いて自己教師付き表現学習を形式化する。
• データ拡張をスタイル介入として用いる不変予測目的 (ReLIC) を提案する。
• 因果的リファインメントを用いて対比学習を一般化し、下流転送を説明・改善する。
• 下流タスクへ一般化することを保証する、リファインメント下の不変表現に関する理論的保証を提供する。
• 実証的に堅牢性、ImageNetでのOOD一般化、そしてAtariでの超人レベルの性能を示す。

提案手法

• データを内容 C とスタイル S でモデル化し、C が下流ターゲット Y^t に影響を与える一方で S は影響を与えない。C ⟂ S を仮定し、X は C と S から生成される。
• データ拡張を S への介入として用いてスタイル変化を模倣し、f(X) から代理ターゲット Y^R の不変予測子を学習する。
• KL ベースの正則化子 ρ を用いて、拡張 a を跨いで p^{do(a)}(Y^R|f(X)) を不変に保つと同時に、対比的代理損失を最小化する ReLIC 目的を定義する。
• 拡張の対を用いて類似度を計算する代理タスク Y^R としてインスタンス識別を用いる。エンコーダ f、クリティック g、場合によりターゲットネットワーク h を関連付ける。
• 不変性制約がクラス内の集中と一般化を改善することを示し、下流タスクへ十分であるとする理論的正当化（定理 1）を提供する。
• スタイル介入下でのリファインメントに対して不変表現を提供することで対比学習を一般化し、リファインメントの不変表現が下流タスクへ拡張されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張に対する明示的な不変性は、自己教師付き表現の有用性と一般化を改善できるか？
• RQ2 ReLIC で学習された表現は下流タスクへ一般化し、従来の対比メソッドを超えた堅牢性とOOD一般化を示すか？
• RQ3 リファインメントは対比学習の成功に対する因果的説明をどのようにもたらし、相互情報量ベースの見方とどのように関連するか？

主な発見

• ReLIC は ImageNet での線形評価性能が高く、同等の拡張を用いた場合にいくつかの自己教師付きベースラインを上回る。
• ReLIC は ImageNet-C および ImageNet-R で、教師ありおよび他の自己教師付き手法と比較して、はるかに優れた堅牢性とOOD一般化を示す。
• Atari 強化学習では、ReLIC ベースの表現が優れた性能をもたらし、57 試合中 51 試合で人間を上回る結果を達成。
• 不変性正則化はクラス内表現をよりコンパクトにし、線形分離性を高める（F_LDA 分析で示される）。
• 定理1は、拡張下で不変予測を持つリファインメント学習が下流タスクへ一般化するのに十分であると規定し、対比の成功を相互情報に代わる説明を提供する。