[논문 리뷰] Demystifying Self-Supervised Learning: An Information-Theoretical Framework.

Yao-Hung Hubert Tsai, Yue Wu외 2명|arXiv (Cornell University)|2020. 06. 10.

Multimodal Machine Learning Applications참고 문헌 20인용 수 13

한 줄 요약

이 논문은 자기지도 학습이 작동하는 이유를 정보 이론적 프레임워크로 설명한다: 입력과 자기지도 신호 사이의 공유 정보만 다운스트림 작업에 기여하며, 이는 과도한 노이즈를 제거하고 작업에 관련된 콘텐츠만 추출할 수 있도록 한다. 이 프레임워크는 대비적 및 예측적 목적을 통합하며, 비전 및 비전-언어 작업에서 통제된 실험을 통해 검증된다.

ABSTRACT

Self-supervised representation learning adopts self-defined signals as supervision and uses the learned representation for downstream tasks, such as masked language modeling (e.g., BERT) for natural language processing and contrastive visual representation learning (e.g., SimCLR) for computer vision applications. In this paper, we present a theoretical framework explaining that self-supervised learning is likely to work under the assumption that only the shared information (e.g., contextual information or content) between the input (e.g., non-masked words or original images) and self-supervised signals (e.g., masked-words or augmented images) contributes to downstream tasks. Under this assumption, we demonstrate that self-supervisedly learned representation can extract task-relevant and discard task-irrelevant information. We further connect our theoretical analysis to popular contrastive and predictive (self-supervised) learning objectives. In the experimental section, we provide controlled experiments on two popular tasks: 1) visual representation learning with various self-supervised learning objectives to empirically support our analysis; and 2) visual-textual representation learning to challenge that input and self-supervised signal lie in different modalities.

연구 동기 및 목표

• 입력과 자기지도 신호 간의 공유 정보의 역할을 규명하여 자기지도 학습이 효과적인 이유를 설명한다.
• 자기지도 표현이 작업에 관련 없는 정보를 제거하고 다운스트림 작업에만 관련된 콘텐츠를 유지할 수 있는 조건을 정식화한다.
• 대비적 및 예측 학습과 같은 일반적인 자기지도 목적을 정보 이론 원칙과 연결한다.
• 비전 표현 학습 및 다중 모odal 비전-텍스트 학습에서 통제된 실험을 통해 이론적 주장의 실증적 검증을 수행한다.

제안 방법

• 자기지도 학습을 입력과 자기지도 신호 간의 공유 정보만을 추출해야 하는 표현 과정으로 정식화하며, 상호정보량과 같은 정보 이론적 개념을 사용한다.
• 다운스트림 성능이 입력과 자기지도 신호 간의 공유 정보에만 의존하며, 독립적 또는 중복된 성분에는 영향을 받지 않는다는 핵심 가정을 정의한다.
• 다운스트림 작업에 최적화된 자기지도 표현이 성립하는 이론적 조건을 유도하며, 작업에 관련 없는 정보가 효과적으로 제거됨을 보여준다.
• 표준 자기지도 목적(예: 대비 학습, 마스킹 예측)을 공유 정보를 유지하면서 임의성(중복성)을 최소화하는 것으로 매핑한다.
• 자기지도 목적을 다양한 방식으로 적용한 통제된 실험을 통해 컴퓨터 비전에서 프레임워크의 예측을 테스트한다.
• 입력과 신호가 서로 다른 모odal에 속할 경우에도 적용 가능한 다중 모달 작업(비전 및 텍스트)으로 평가를 확장한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 입력에서 작업에 관련된 정보를 성공적으로 추출하고 관련 없는 성분을 제거하는 조건는 무엇인가?
• RQ2 대비적 및 예측 학습과 같은 일반적인 자기지도 목적은 공유 정보만 유지하는 원칙과 어떻게 일치하는가?
• RQ3 이론적 프레임워크는 비전과 텍스트와 같은 다양한 모달에서 자기지도 학습의 효과성을 설명할 수 있는가?
• RQ4 비전 및 비전-텍스트 표현 학습에서의 통제된 실험은 제안된 정보 이론적 메커니즘을 어느 정도 지지하는가?

주요 결과

• 자기지도 표현은 입력과 자기지도 신호 간의 공유 정보를 캡처하고 유지할 때에만 효과적이며, 이는 이론적 프레임워크의 예측과 일치한다.
• 프레임워크는 대비 학습과 마스킹 예측 목적의 작동 원리를 설명한다: 이들은 암묵적으로 중복성을 최소화하고 공유 정보를 최대화한다.
• 비전 표현 학습에서의 통제된 실험 결과, 공유 정보 제약을 따르지 않는 표현보다 제안된 프레임워크에 기반해 훈련된 표현이 다운스트림 작업으로의 일반화 성능이 뛰어나다.
• 다중 모달 비전-텍스트 학습에서, 입력과 자기지도 신호가 서로 다른 모달에 속할 경우에도 프레임워크는 유효하며, 그 강건성을 확인한다.
• 이론적 분석을 통해 자기지도 표현이 공유 콘텐츠에만 집중함으로써, 부작위 상관관계나 노이즈와 같은 작업에 관련 없는 정보를 자연스럽게 제거함을 보여준다.
• 실증 결과는 다운스트림 성능이 입력과 자기지도 신호 간의 상호정보량과 강하게 상관됨을 확인하며, 프레임워크의 核심 가정을 검증한다.