[논문 리뷰] Deep Bregman Divergence for Contrastive Learning of Visual Representations

Mina Rezaei, Farzin Soleymani외 2명|arXiv (Cornell University)|2021. 09. 15.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 시각적 표현의 분포 수준 차이를 포착하기 위해 깊이 있는 브레그만 발산을 활용하는 새로운 대비 학습 프레임워크를 제안한다. 이는 유클리드 거리 이외의 특징 품질 향상에 기여한다. 여러 개의 선형 하위망을 훈련하여 기능적 브레그만 발산을 계산하고, 기존의 대비 손실과 결합함으로써, 분류 및 객체 검출 작업에서 자기지도 및 준지도 학습 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Deep Bregman divergence measures divergence of data points using neural networks which is beyond Euclidean distance and capable of capturing divergence over distributions. In this paper, we propose deep Bregman divergences for contrastive learning of visual representation where we aim to enhance contrastive loss used in self-supervised learning by training additional networks based on functional Bregman divergence. In contrast to the conventional contrastive learning methods which are solely based on divergences between single points, our framework can capture the divergence between distributions which improves the quality of learned representation. We show the combination of conventional contrastive loss and our proposed divergence loss outperforms baseline and most of the previous methods for self-supervised and semi-supervised learning on multiple classifications and object detection tasks and datasets. Moreover, the learned representations generalize well when transferred to the other datasets and tasks. The source code and our models are available in supplementary and will be released with paper.

연구 동기 및 목표

• 점 간의 거리 이외의 분포 수준의 발산을 포착함으로써 자기지도 시각 표현 학습을 향상시키는 것.
• 기능적 브레그만 발산을 도입하여 데이터 분포에 대한 더 세밀한 메트릭 학습을 가능하게 하는 대비 학습의 확장.
• 기존의 대비 손실과 새로운 발산 손실을 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크 개발.
• 다양한 데이터셋과 작업 간의 특징 일반화 및 이식 가능성 향상.
• 자기지도 및 준지도 환경에서 메트릭 학습에 브레그만 발산의 효과를 조사하는 것.

제안 방법

• 기본 인코더와 프로젝션 헤드를 사용하여 증강된 이미지 쌍에서 임베딩을 생성한다.
• 다양한 깊이의 선형 하위망을 훈련하여 기능적 브레그만 발산을 위한 볼록 생성 함수를 매개변수화한다.
• 이 하위망을 사용하여 임베딩 간의 브레그만 발산을 계산함으로써 분포 수준의 차이를 포착한다.
• 학습 가능한 가우시안 커널 함수를 사용하여 브레그만 발산을 유사도 점수로 변환하는 대비 발산 손실을 도입한다.
• 기존의 NT-Xent 대비 손실과 새로운 발산 손실을 조합하여 전체 손실을 정의하고, 이를 엔드 투 엔드로 최적화한다.
• 하이퍼파rameter λ와 σ는 베이지안 최적화를 통해 다운스트림 작업에서의 성능을 극대화하도록 튜닝된다.

실험 결과

연구 질문

• RQ1 기능적 브레그만 발산은 대비 학습에서 점 간 거리 이외의 분포 수준의 발산을 향상시키는 데 기여하는가?
• RQ2 기존의 대비 손실과 브레그만 발산 손실을 조합할 경우 표현 품질과 다운스트림 작업 성능에 어떤 영향을 미치는가?
• RQ3 기존의 자기지도 및 준지도 학습 방법과 비교해 볼 때, 제안된 방법은 데이터셋과 작업 간에 더 잘 일반화되는가?
• RQ4 브레그만 발산을 유사도 점수로 변환하는 데 최적의 변환 함수 ψ의 형태는 무엇인가?
• RQ5 다양한 하이퍼파rameter λ와 σ는 대비 발산 손실의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이미지 분류 및 객체 검출을 위한 자기지도 및 준지도 학습 벤치마크에서 베이스라인 및 대부분의 이전 방법을 능가한다.
• CIFAR-10에서 최적의 하이퍼파rameter λ=5와 σ=1.5를 사용하여 Top-1 정확도 94.2%를 달성하였다. 이는 베이지안 최적화를 통해 확보되었다.
• t-SNE 시각화 결과, 클래스 0, 1, 8, 9에 대해 SimCLR보다 더 우수한 클러스터 분리가 관찰되어 특징의 분류 능력 향상을 입증하였다.
• 모든 테스트된 함수 중에서 σ=1.5인 가우시안 커널을 변환 함수 ψ로 사용할 경우 최고의 성능를 기록하였다.
• 기존의 대비 손실과 새로운 발산 손실을 조합함으로써, 전이 학습 시나리오에서 더 강력하고 일반화 능력이 뛰어난 표현을 도출하였다.
• 이 방법은 높은 성능를 보이며 표준 벤치마크와 최근의 임상 데이터셋 모두에 대해 강력한 이식 가능성을 보였다.