[논문 리뷰] A Note on Connecting Barlow Twins with Negative-Sample-Free Contrastive Learning

Yao-Hung Hubert Tsai, Shaojie Bai외 2명|arXiv (Cornell University)|2021. 04. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 14

한 줄 요약

이 논문은 힐버트-슈미트 독립성 기준(HSIC)과의 연결을 통해 바르로우 트윈즈를 음성 샘플이 없는 대비 학습 방법으로 재해석한다. 이는 증강된 뷰 간의 통계적 독립성을 극대화함으로써 음성 쌍이나 대칭성 파괴 네트워크를 필요로 하지 않는다는 점을 입증한다. 실험 결과는 원래 손실 함수를 HSIC 기반 목적함수로 대체해도 성능 저하가 없음을 보여주며, 실질적으로 동등함을 입증한다.

ABSTRACT

In this report, we relate the algorithmic design of Barlow Twins' method to the Hilbert-Schmidt Independence Criterion (HSIC), thus establishing it as a contrastive learning approach that is free of negative samples. Through this perspective, we argue that Barlow Twins (and thus the class of negative-sample-free contrastive learning methods) suggests a possibility to bridge the two major families of self-supervised learning philosophies: non-contrastive and contrastive approaches. In particular, Barlow twins exemplified how we could combine the best practices of both worlds: avoiding the need of large training batch size and negative sample pairing (like non-contrastive methods) and avoiding symmetry-breaking network designs (like contrastive methods).

연구 동기 및 목표

• 바르로우 트윈즈의 원래 정보 압축 이론적 배경을 넘어서, 다른 이론적 해석을 제공하기 위해.
• 증강된 뷰 간의 HSIC를 극대화하는 방식으로 바르로우 트윈즈를 대비 학습으로 프레임워크화하여, 이를 대비 학습과 연결하기 위해.
• 이전의 바르로우 트윈즈 이론 분석에서 사용된 정규분포 가정을 제거하기 위해.
• HSIC 기반 목적함수가 성능 유지와 더불어 더 일반적이고 실용적인 이유를 입증하기 위해.
• 음성 샘플이 없는 대비 학습을 비대칭적이고 대비 학습의 자기지도 학습 파라다임 간의 다리 역할을 할 수 있도록 위치 지정하기 위해.

제안 방법

• 바르로우 트윈즈의 손실 함수를 증강된 뷰 표현 간의 힐버트-슈미트 독립성 기준(HSIC) 극대화로 재구성한다.
• 커널 그래머 행렬과 중심화 행렬 H를 사용하여 경험적 HSIC 추정을 수행하고, 결합 분포와 곱 분포 간의 발산을 계산한다.
• 수정된 목적함수 제안: $\widehat{{\rm HSIC}}(X,Y) = \frac{1}{n^2} {\rm tr}(\mathbf{K}_X \mathbf{H} \mathbf{K}_Y \mathbf{H})$, 여기서 $\mathbf{K}_X, \mathbf{K}_Y$는 커널 행렬이고 $\mathbf{H}$는 중심화 행렬이다.
• 원래 바르로우 트윈즈 손실을 교차상관관계 최소화에서 HSIC 극대화로 대체함으로써, 정규분포 가정이 필요 없도록 한다.
• d차원 특징을 추출하기 위해 ResNet-50 백본과 비선형 프로젝션 헤드를 사용하며, $X$와 $Y$는 두 개의 증강된 뷰로 간주된다.
• 모든 프로젝션 차원에서 공정한 비교를 위해 바르로우 트윈즈와 HSIC 기반 목적함수 양쪽 모두 $\lambda = \frac{1}{d}$로 설정한다.

실험 결과

연구 질문

• RQ1 바르로우 트윈즈는 음성 샘플이 없는 대비 학습 방법으로 해석될 수 있는가?
• RQ2 HSIC 기반 바르로우 트윈즈 해석은 이론적 근거에서 정규분포 가정을 제거하는 데 성공하는가?
• RQ3 실제로 HSIC 기반 목적함수의 성능은 원래 바르로우 트윈즈 손실과 비교해 어떻게 되는가?
• RQ4 음성 샘플이 없는 대비 학습은 비대비 학습과 대비 학습 자기지도 학습 파라다임 간의 통합 프레임워크로 기능할 수 있는가?
• RQ5 이론적으로는 안정성이 보장되는데도 불구하고, 바르로우 트윈즈와 그 HSIC 변형에서 배치 크기가 증가할수록 성능 저하가 발생하는 이유는 무엇인가?

주요 결과

• HSIC 기반 목적함수는 CIFAR-10과 Tiny ImageNet에서 다양한 프로젝터 차원 $d$에 대해 원래 바르로우 트윈즈 손실과 구분 불가능한 성능을 달성한다.
• 학습 에포크 수나 배치 크기를 변화시켜도 바르로우 트윈즈와 HSIC 기반 목적함수 간에 유의미한 성능 차이가 관찰되지 않는다.
• 더 큰 배치 크기에서 성능 저하 현상이 양쪽 방법 모두에서 관찰되며, 이는 이론적 안정성과는 정면으로 배치되어 자율지도 학습 분야에서 열린 문제로 남아 있음을 시사한다.
• HSIC 해석은 원래 정규분포 가정 기반 정보 압축 이론적 배경보다 더 일반적인 이론적 기반을 제공한다.
• 결과는 음성 샘플이 없는 대비 학습이 비대비 학습과 대비 학습 자기지도 학습 방법의 핵심 장점을 통합할 수 있다는 견해를 지지한다.
• 본 연구는 바르로우 트윈즈가 대칭성 파괴 네트워크를 필요로 하지 않으며, HSIC 기반 공식화도 이 성질을 유지하면서 더 넓은 통계적 프레임워크에 기반한다는 점을 확인한다.