[논문 리뷰] Hyperbolic Contrastive Learning

Yue Yun, Fangzhou Lin외 2명|arXiv (Cornell University)|2023. 02. 02.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 이미지 임베딩을 쌍곡 공간으로 매핑하여 계층적 데이터 구조를 더 잘 포착할 수 있도록 하는 새로운 자기지도 학습 대비 학습 프레임워크인 하이퍼볼릭 대비 학습(HCL)을 제안한다. 기울기 기반 최적화를 위한 포인카레 모델을 활용함으로써 HCL는 유클리드 대비 학습에 비해 더 높은 최종 분류 정확도와 향상된 적대적 공격에 대한 강건성을 달성하였으며, $υ_{\infty}$ 공격 하에서 CIFAR-10에 대해 29.94%의 강건한 정확도를 기록하였다.

ABSTRACT

Learning good image representations that are beneficial to downstream tasks is a challenging task in computer vision. As such, a wide variety of self-supervised learning approaches have been proposed. Among them, contrastive learning has shown competitive performance on several benchmark datasets. The embeddings of contrastive learning are arranged on a hypersphere that results in using the inner (dot) product as a distance measurement in Euclidean space. However, the underlying structure of many scientific fields like social networks, brain imaging, and computer graphics data exhibit highly non-Euclidean latent geometry. We propose a novel contrastive learning framework to learn semantic relationships in the hyperbolic space. Hyperbolic space is a continuous version of trees that naturally owns the ability to model hierarchical structures and is thus beneficial for efficient contrastive representation learning. We also extend the proposed Hyperbolic Contrastive Learning (HCL) to the supervised domain and studied the adversarial robustness of HCL. The comprehensive experiments show that our proposed method achieves better results on self-supervised pretraining, supervised classification, and higher robust accuracy than baseline methods.

연구 동기 및 목표

• 비전 분야에서 흔히 볼 수 있는 사회적 네트워크나 뇌 영상과 같은 계층적 데이터 구조를 모델링하는 데 있어 유클리드 공간의 한계를 해결하기 위해.
• 쌍곡 공간의 기하학적 특성인 기하급수적 부피 증가와 나무 모양의 기하학적 특성을 활용하여 대비 표현 학습이 향상되는지 탐구하기 위해.
• 적대적 공격에 강건한 자기지도 사전학습 방법을 개발하여 일반화 성능을 높이기 위해.
• HCL를 지도 학습 및 적대적 강건성 설정으로 확장하여, 최종 작업에서의 우수성을 입증하기 위해.

제안 방법

• 기울기 기반 최적화를 효율적으로 지원하는 포인카레 볼 모델을 사용하여 이미지 임베딩을 쌍곡 공간으로 매핑한다.
• 유클리드 내적 유사도를 대체하여 계층적 관계를 더 잘 모델링할 수 있도록 쌍곡 거리 기반의 대비 손실을 도입한다.
• 클래스 수준의 지도 정보를 활용하여 대비 목표를 지도 학습 설정에 적응시킨 Supervised Hyperbolic Contrastive Learning(SHCL)을 제안한다.
• HCL와 적대적 훈련을 결합하여 $υ_{\infty}$ 공격에 대한 강건성을 향상시킨 Robust Hyperbolic Contrastive Learning(RHCL)을 제안한다.
• 훈련 안정성 향상과 쌍곡 공간 내 표현 품질 향상을 위해 곡률 조정 및 정규화 레이어를 도입한다.
• 표준 데이터 증강(예: 자르기, 색상 왜곡)과 쌍곡 기하학에 적응된 InfoNCE 손실을 활용하여 자기지도 사전학습을 수행한다.

Figure 1 : The geodesics (red curve) of two points ( $A,B$ ) of the Poincaré disk. The blue line is the straight line between $A,B$ that is no longer the shortest distance. The relative size of objects in this disk is getting smaller while the distance of points increases exponentially (relative to

실험 결과

연구 질문

• RQ1 쌍곡 공간은 유클리드 공간에 비해 계층적 데이터 구조를 더 효과적으로 포착함으로써 대비 자기지도 학습 모델의 표현 학습을 향상시킬 수 있는가?
• RQ2 쌍곡 공간의 곡률은 이미지 표현 학습에서 대비 학습의 성능에 어떤 영향을 미치는가?
• RQ3 표준 유클리드 대비 학습에 비해 하이퍼볼릭 대비 학습은 최종 분류 작업으로의 일반화 성능이 더 뛰어나게 되는가?
• RQ4 하이퍼볼릭 대비 학습은 지도 학습 및 적대적 강건성 설정으로 확장 가능하며 성능 향상이 이루어지는가?
• RQ5 자기지도 표현 학습에서 하이퍼볼릭 공간은 유클리드 공간에 비해 적대적 공격에 더 강건한가?

주요 결과

• HCL는 곡률 $c = 0.6$ 설정에서 CIFAR-10에서 선형 평가 정확도 87.98%를 달성하여 다른 곡률 설정보다 뛰어난 성능을 보였다.
• 포인카레 매핑 이전의 정규화가 필수적임을 확인하였으며, 이를 제거할 경우 CIFAR-10 정확도가 87.98%에서 85.37%로 감소하였다.
• RHCL는 $υ_{\infty}$ 화이트박스 공격 하에서 CIFAR-10에서 29.94%의 강건한 정확도를 기록하여 SimCLR와 RoCL를 능가하였다.
• 적대적 미세조정을 통한 RHCL+AT는 32.61%의 강건한 정확도를 달성하여, 자율 지도 학습과 적대적 훈련을 통합함으로써 추가적인 성능 향상을 입증하였다.
• SHCL는 다양한 벤치마크 데이터셋에서 표준 지도 대비 학습보다 뛰어난 성능을 보였으며, 이는 지도 학습 환경에서 하이퍼볼릭 기하학의 유용성을 시사한다.
• 제안된 HCL 프레임워크는 자기지도 및 지도 학습 사전학습 모두에서 일관된 성능 향상을 보였으며, 계층적 시각 표현 학습에서 하이퍼볼릭 공간의 우수성을 확인하였다.

Figure 2 : Overview of the proposed HCL . Different image augmentations are applied to the same image first. After going through the encoder network, the vectors are then projected into a latent space with a fully connected (FC) layer. Different from the general contrastive learning (dashed line) th