[논문 리뷰] Self-supervised Learning from a Multi-view Perspective

Yao-Hung Hubert Tsai, Yue Wu외 2명|arXiv (Cornell University)|2020. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 12

한 줄 요약

이 논문은 입력과 자기지도 신호를 다중 시각 데이터로 모델링함으로써 자기지도 학습(SSL)이 작업 관련 정보를 추출하고 작업 비관련 정보를 기각하는 방식을 정보 이론적 프레임워크로 설명한다. 다중 목적의 자기지도 학습 목표를 도입하여 대비 손실과 예측 학습을 결합하고, 역예측 손실을 추가함으로써 불필요한 정보를 최소화함으로써 시각 및 시각-텍스트 작업 모두에서 일반화 능력을 향상시키고 과적합을 감소시킨다.

ABSTRACT

As a subset of unsupervised representation learning, self-supervised representation learning adopts self-defined signals as supervision and uses the learned representation for downstream tasks, such as object detection and image captioning. Many proposed approaches for self-supervised learning follow naturally a multi-view perspective, where the input (e.g., original images) and the self-supervised signals (e.g., augmented images) can be seen as two redundant views of the data. Building from this multi-view perspective, this paper provides an information-theoretical framework to better understand the properties that encourage successful self-supervised learning. Specifically, we demonstrate that self-supervised learned representations can extract task-relevant information and discard task-irrelevant information. Our theoretical framework paves the way to a larger space of self-supervised learning objective design. In particular, we propose a composite objective that bridges the gap between prior contrastive and predictive learning objectives, and introduce an additional objective term to discard task-irrelevant information. To verify our analysis, we conduct controlled experiments to evaluate the impact of the composite objectives. We also explore our framework's empirical generalization beyond the multi-view perspective, where the cross-view redundancy may not be clearly observed.

연구 동기 및 목표

• 입력과 자기지도 신호를 다중 시각 데이터로 모델링함으로써 자기지도 학습(SSL)이 성공하는 이유를 이론적으로 이해하는 것.
• SSL 표현이 잠재적 손실을 수반하여 작업 관련 정보를 추출하고 고정된 간격으로 작업 비관련 정보를 기각할 수 있는 방식을 형식화하는 것.
• 공통적인 정보 이론적 프레임워크 아래에서 대비 학습과 예측 학습 SSL 목표를 통합하는 것.
• 조건부 엔트로피를 최소화하고 비관련 정보를 억제하는 새로운 역예측 학습 목표를 설계하는 것.
• 다중 시각 설정과 교차 모odal 설정에서 프레임워크를 실증적으로 평가함으로써 다중 시각 가정이 성립하지 않을 경우에도 성능을 점검하는 것.

제안 방법

• 입력 X와 자기지도 신호 S가 동일한 데이터의 두 시각인 다중 시각 학습 문제로 SSL를 수식화하며, 작업 관련 정보 T는 관측되지 않음.
• 정보 이론을 사용하여 학습된 표현 Z_X가 제한된 손실로 작업 관련 정보를 추출하고 고정된 간격으로 비관련 정보를 기각할 수 있음을 보여줌.
• 대비 손실(L_CL)과 예측 손실(L_FP)을 결합한 복합 SSL 목표를 제안하고, H(Z_X | S)를 최소화하기 위해 추가로 역예측 손실(L_IP)을 도입하여 불필요한 특징을 억제함.
• 조건부 엔트로피 H(Z_X | S)를 최소화하는 역예측 학습 목표를 도입하여 두 시각 간에 공유되지 않는 정보를 효과적으로 제거함.
• 라그랑주 승수 λ_IP를 사용하여 복합 목표를 校정하며, 실증적으로 L_IP가 L_CL 또는 L_FP의 1/10 규모일 때 최적 성능을 보임.
• 시각 및 시각-텍스트 데이터셋에서 통제된 실험을 수행하여 복합 목표가 표현 품질과 일반화 능력에 미치는 영향을 평가함.

실험 결과

연구 질문

• RQ1 다중 시각 가정 하에 자기지도 표현은 작업 관련 정보를 어떻게 추출하면서도 작업 비관련 정보를 기각할 수 있는가?
• RQ2 정보 이론적 SSL의 맥락에서 대비 학습과 예측 학습 목표 간의 이론적 관계는 무엇인가?
• RQ3 대비 학습, 예측 학습, 역예측 학습을 병합한 복합 목표가 표현 품질과 일반화 능력을 향상시킬 수 있는가?
• RQ4 교차 모달 설정(예: 이미지와 텍스트)에서 다중 시각 가정이 성립하지 않을 경우 제안된 프레임워크는 얼마나 잘 일반화되는가?
• RQ5 최적의 성능를 얻기 위해 역예측 손실의 척도는 다른 목표들에 비해 어느 정도여야 하는가?

주요 결과

• 대비, 예측, 역예측 학습을 병합한 제안된 복합 목표는 대비 또는 예측 목표를 단독으로 사용할 때보다 더 높은 성능과 낮은 과적합을 달성한다.
• 실증 결과에 따르면, 역예측 손실(L_IP)이 H(Z_X | S)를 최소화함으로써 표현이 작업 비관련 정보에 대한 의존도를 효과적으로 감소시킴을 보여줌.
• 통제된 실험에서 L_IP의 최적 스케일은 L_CL 또는 L_FP의 1/10으로 확인되었으며, 이는 안정적이고 일반화 가능한 하이퍼파rameter 영역임을 시사함.
• 프레임워크는 다중 시각 관점 이상으로 일반화됨: 예를 들어 이미지와 텍스트 간의 교차 모달 설정에서도 복합 목표가 강력한 성능 유지를 보이며, 시각 간부재성 가정에 대한 강건성을 시사함.
• 이론적 분석을 통해 자기지도 표현이 제한된 손실로 작업 관련 정보를 추출하고 고정된 간격으로 비관련 정보를 기각할 수 있음을 확인함으로써 SSL 성공의 공식적 근거를 제공함.
• 역예측 손실이 기존의 SSL 목표와 쉽게 통합 가능하며, 시각 및 시각-텍스트 벤치마크에서 다운스트림 작업의 일반화 능력을 향상시킴을 입증함.