[논문 리뷰] Representation Learning via Invariant Causal Mechanisms

Jovana Mitrovic, Brian McWilliams외 3명|arXiv (Cornell University)|2020. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 41

한 줄 요약

ReLIC은 self-supervised 표현 학습을 위한 불변적 인과 메커니즘 정규화기를 도입하여, 프록시-타깃 예측이 증강 간에 불변하도록 강제하고, 이론적 지지와 강력한 실증적 이득(강건성, OOD 일반화, Atari 성능)을 제공합니다.

ABSTRACT

Self-supervised learning has emerged as a strategy to reduce the reliance on costly supervised signal by pretraining representations only using unlabeled data. These methods combine heuristic proxy classification tasks with data augmentations and have achieved significant success, but our theoretical understanding of this success remains limited. In this paper we analyze self-supervised representation learning using a causal framework. We show how data augmentations can be more effectively utilized through explicit invariance constraints on the proxy classifiers employed during pretraining. Based on this, we propose a novel self-supervised objective, Representation Learning via Invariant Causal Mechanisms (ReLIC), that enforces invariant prediction of proxy targets across augmentations through an invariance regularizer which yields improved generalization guarantees. Further, using causality we generalize contrastive learning, a particular kind of self-supervised method, and provide an alternative theoretical explanation for the success of these methods. Empirically, ReLIC significantly outperforms competing methods in terms of robustness and out-of-distribution generalization on ImageNet, while also significantly outperforming these methods on Atari achieving above human-level performance on $51$ out of $57$ games.

연구 동기 및 목표

• self-supervised 표현 학습을 인과적 관점에서 Formalize(내용 vs. 스타일)하여 일반화 개선.
• 데이터 증강을 스타일 개입으로 사용하는 불변 예측 목표(ReLIC) 제안.
• 인과적 정교화를 통해 대조학습을 일반화하여 다운스트림 전이를 설명하고 개선.
• 정규화에 따른 불변 표현이 다운스트림 작업으로 일반화됨에 대한 이론적 보장 제공.
• ImageNet에서의 강건성, OOD 일반화, 그리고 Atari에서의 초인적 성능을 실증적으로 보임.

제안 방법

• 데이터를 콘텐츠 C와 스타일 S로 모델링하되, C가 다운스트림 타깃 Y^t에 영향을 주고 S는 영향을 주지한다고 가정; C ⟂ S이고 X가 C와 S로부터 생성된다고 가정.
• 스타일 변화 시뮬레이션으로 S에 대한 인터벤션으로 데이터 증강을 사용하여 f(X)로부터 프록시 타깃 Y^R의 불변 예측자를 학습.
• ReLIC 목표를 정의하되, 증강 a에 대해 p^{do(a)}(Y^R|f(X))가 불변하도록 제약하고, 허용오차 ρ를 갖는 KL 기반 규칙자(regularizer)를 통해 대조 프록시 손실을 최소화.
• Y^R로서 인스턴스 구분을 프록시 작업으로 사용하고, 증강 쌍을 통해 유사도를 계산하며, 인코더 f, 크리틱 g, 그리고 가능하다면 타깃 네트워크 h를 연관짓고.
• 불변 제약이 클래스 간 응집도를 높이고 일반화를 개선함을 보이고, 정리 1(Theorem 1)으로 불변 정제가 다운스트림 작업에 충분하다는 이론적 정당화를 제공.
• 스타일 개입 하의 불변 예측으로의 정제 도입으로 대조학습을 일반화하고, 정제가 다운스트림 작업으로 확장된다는 것을 보여주는 이론적 근거를 제시

실험 결과

연구 질문

• RQ1 데이터 증강에 대한 명시적 불변성이 자기지도 표현의 유용성과 일반화를 개선할 수 있는가?
• RQ2 ReLIC로 학습된 표현이 다운스트림 작업에 일반화하고, 기존 대비 방법들보다 강건성 및 OOD 일반화를 보이는가?
• RQ3 정제들이 대조학습의 성공에 대한 인과적 설명을 제공하고 상호정보(I) 기반 관점과 어떤 관련이 있는가?

주요 결과

• ReLIC은 이미지넷에서 강력한 선형 평가 성능을 달성하여, 비교 가능한 증강에서 여러 자기지도 기반 Baseline을 능가합니다.
• ReLIC은 ImageNet-C 및 ImageNet-R에서 감독 학습 및 다른 비지도 방법에 비해 현저히 더 나은 강건성 및 OOD 일반화를 제공합니다.
• Atari 강화학습에서 ReLIC 기반 표현은 더 우수한 성능을 보이며 57개 게임 중 51개에서 인간을 상회하는 결과를 달성합니다.
• 불변 규칙자는 클래스 내부 표현을 더 조밀하게 만들고 선형 분리를 더 크게 향상시킵니다(F_LDA 분석에서 확인).
• 정리 1은 증강 하에서의 불변 예측으로 정제를 학습하는 것이 다운스트림 작업으로 일반화하는 충분조건임을 확립하고, 대조 성공에 대한 상호정보 대신 대안적 설명을 제공합니다.