[논문 리뷰] On Mutual Information in Contrastive Learning for Visual Representations

Mike Wu, Chengxu Zhuang외 3명|arXiv (Cornell University)|2020. 05. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 49

한 줄 요약

본 논문은 대조 학습에 대한 정보 이론적 관점을 제시하며, IR, LA, CMC 및 관련 방법들이 이미지 뷰 간의 상호정보(MI)의 하한임을 보여준다; 또한 유연한 음수 샘플 전략들(VINCE, BALL, RING, CAVE)을 도입하고 이들이 비전 태스크 전이 성능을 향상시킨다는 것을 보인다.

ABSTRACT

In recent years, several unsupervised, "contrastive" learning algorithms in vision have been shown to learn representations that perform remarkably well on transfer tasks. We show that this family of algorithms maximizes a lower bound on the mutual information between two or more "views" of an image where typical views come from a composition of image augmentations. Our bound generalizes the InfoNCE objective to support negative sampling from a restricted region of "difficult" contrasts. We find that the choice of negative samples and views are critical to the success of these algorithms. Reformulating previous learning objectives in terms of mutual information also simplifies and stabilizes them. In practice, our new objectives yield representations that outperform those learned with previous approaches for transfer to classification, bounding box detection, instance segmentation, and keypoint detection. % experiments show that choosing more difficult negative samples results in a stronger representation, outperforming those learned with IR, LA, and CMC in classification, bounding box detection, instance segmentation, and keypoint detection. The mutual information framework provides a unifying comparison of approaches to contrastive learning and uncovers the choices that impact representation learning.

연구 동기 및 목표

• 상호정보(MI) 하한을 통해 대조적 시각 표현 학습에 대한 통합된 정보이론적 관점을 제공한다.
• 데이터 증강(뷰)과 음수 샘플 선택이 표현 품질에 어떻게 결정적으로 영향을 미치는지 보인다.
• 하한들(InfoNCE와 VINCE)을 도출하고 분석하며 이를 기존 방법(IR, LA, CMC, SimCLR)과 연결한다.
• 새로운 음수 샘플 전략(BALL, RING, CAVE)과 어닐링을 제안하고 평가하여 전이 성능을 향상시킨다.

제안 방법

• 대조적 목표를 MI 추정기로 공식화하되, 제한된 분포에서 음수 샘플링을 허용하도록 InfoNCE의 일반화를 포함한다(VINCE).
• 확장된 뷰와 메모리 뱅크 구성을 전제로 IR과 CMC가 InfoNCE와 동등하다는 것을 보이고, 안정성을 위해 IR을 메모리-프리(IR-nce) 변형으로 단순화한다.
• 현재 뷰를 둘러싼 제한된 영역(볼/링)에서 음수를 샘플링하는 BALL, RING, CAVE 음수 샘플링 스킴을 도입하고 분석한다.
• 학습 신호와 안정성의 균형을 맞추기 위해 음수 분포 매개변수의 어닐링을 제안한다.
• Local Aggregation(LA)을 VINCE와 연관시키고 가중 뷰 집합 간 MI를 하한하는 LA의 조건을 도출한다.
• 실용적 변형들(LA-nce, BALL Lab 등)을 제공하고 이들이 안정성 및 성능에 어떻게 관련되는지 보인다.

실험 결과

연구 질문

• RQ1 다양한 뷰(증강) 선택이 대조 학습에서 학습된 표현의 품질에 어떻게 영향을 미치는가?
• RQ2 음수 샘플의 분포가 상호정보 하한과 다운스트림 전이 성능에 어떤 영향을 미치는가?
• RQ3 IR, LA, CMC를 상호정보 기반 목표 아래 통일할 수 있으며 이 시각에서 어떤 실용적 변형이 등장하는가?
• RQ4 제한된(ball/ring/cave) 음수 샘플 전략이 일반적인 InfoNCE에 비해 이미지 분류 및 탐지와 같은 전이 태스크를 향상시키는가?
• RQ5 음수 샘플 분포에서 어닐링의 역할은 학습을 안정화하고 향상시키는가?

주요 결과

• 상호정보 관점은 IR, LA, CMC, SimCLR이 이미지 뷰 간 MI의 하한이며, InfoNCE가 주요 추정량임을 보여준다.
• 더 어렵고 정보성이 높은 음수 샘플(BALL, RING, CAVE)이 IR-nce에 비해 CIFAR10, ImageNet- 및 COCO 기반 과제들에서 전이 성능을 향상시킨다.
• IR을 InfoNCE로 단순화하면 안정성이 개선되고 때로는 성능도 향상되며, 특정 설정에서 메모리 뱅크를 제거해도 손실이 없다.
• 변분 음수 샘플링(VINCE)을 도입하면 LA와 MI 간의 새로운 관계가 가능해지며, LA가 BALL/VINCE에 의해 하한에 놓임을 보여준다.
• 음수 샘플 분포의 어닐링은 결과를 더 개선하여 여러 전이 태스크에서 경쟁력 있는 성능을 달성한다.
• 보고된 최상위 변형들(e.g., RING Lab+s-neigh+anneal)은 여러 태스크에서 IR, LA, CMC를 능가한다.