[논문 리뷰] Conditional Contrastive Learning with Kernel

Yao-Hung Hubert Tsai, Tianqin Li외 5명|arXiv (Cornell University)|2022. 02. 11.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 조건부 대비 학습에서 명시적 조건부 샘플링을 커널 기반 가중치 부여 방식으로 대체하여 희귀하거나 연속적인 조건부 변수에 대한 데이터 부족 문제를 완화하는 조건부 대비 학습법 CCL-K를 제안한다. 유사도 기반 가중치를 데이터 포인트에 할당하기 위해 커널 조건부 임베딩 연산자(KCEO)를 활용함으로써, CCL-K는 연속적이고 자원이 부족한 조건부 값에서도 효과적인 대비 학습을 가능하게 하며, 약한 감독, 공정성, 하드 네거티브 대비 학습 설정에서 최신 기준 성능을 초월한다.

ABSTRACT

Conditional contrastive learning frameworks consider the conditional sampling procedure that constructs positive or negative data pairs conditioned on specific variables. Fair contrastive learning constructs negative pairs, for example, from the same gender (conditioning on sensitive information), which in turn reduces undesirable information from the learned representations; weakly supervised contrastive learning constructs positive pairs with similar annotative attributes (conditioning on auxiliary information), which in turn are incorporated into the representations. Although conditional contrastive learning enables many applications, the conditional sampling procedure can be challenging if we cannot obtain sufficient data pairs for some values of the conditioning variable. This paper presents Conditional Contrastive Learning with Kernel (CCL-K) that converts existing conditional contrastive objectives into alternative forms that mitigate the insufficient data problem. Instead of sampling data according to the value of the conditioning variable, CCL-K uses the Kernel Conditional Embedding Operator that samples data from all available data and assigns weights to each sampled data given the kernel similarity between the values of the conditioning variable. We conduct experiments using weakly supervised, fair, and hard negatives contrastive learning, showing CCL-K outperforms state-of-the-art baselines.

연구 동기 및 목표

• 조건부 대비 학습에서 조건부 변수의 특정 값에 대한 데이터 부족 문제를 해결하기 위해.
• 기존 샘플링 방식이 실패하는 연속적 또는 빈도가 낮은 조건부 변수에서도 효과적인 대비 학습을 가능하게 하기 위해.
• 명시적 조건부 샘플링을 모든 이용 가능한 훈련 데이터를 활용하는 커널 기반 유사도 가중치 부여 메커니즘으로 대체하기 위해.
• 약한 감독, 공정성, 하드 네거티브 대비 학습 작업에서의 최종 성능을 향상시키기 위해.
• 다양한 조건부 대비 학습 목표에 일반화되는 통합적이고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• CCL-K는 대상 값과 유사한 조건부 변수 값을 가진 데이터 포인트에 더 높은 가중치를 할당하는 커널 기반 가중치 부여 방식을 사용하여 명시적 조건부 샘플링을 대체한다.
• 조건부 변수 값 간의 커널 유사도를 계산하고 이를 대비 학습 중 가중치로 사용하기 위해 커널 조건부 임베딩 연산자(KCEO)를 적용한다.
• 부드럽고 연속적인 조건부 처리를 가능하게 하기 위해, 가중치를 계산하기 위해 스무딩된 커널 유사도 행렬 (K_Z + λI)^{-1}K_Z 를 사용한다.
• 표준 대비 목표 함수인 InfoNCE에 이 가중치를 통합함으로써, 아키텍처 변경 없이도 기존 대비 학습 프레임워크에 적용할 수 있다.
• 정확한 일치가 아닌 커널 유사도를 활용함으로써, 연속적인 변수를 포함한 어떤 변수에 대해서도 양성 및 음성 쌍을 조건부로 구성할 수 있다.
• 대비 목표 함수에 커널 기반 가중치를 통합함으로써, 표현이 커널 가중 대비 목표 함수에 따라 최적화되며, 일반화 및 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 커널 기반 가중치 부여가 데이터가 희소하거나 연속적인 조건부 변수를 처리하기 위해 명시적 조건부 샘플링을 대체할 수 있는가?
• RQ2 약한 감독, 공정성, 하드 네거티브 학습 설정에서 CCL-K가 표준 조건부 대비 학습 기준보다 성능이 뛰어나게 되는가?
• RQ3 조건부 변수에 데이터가 부족할 경우 커널 유사도 사용이 표현 품질을 향상시키는가?
• RQ4 분할 또는 군집화 없이도 CCL-K가 연속적인 조건부 변수를 효과적으로 처리할 수 있는가?
• RQ5 커널 기반 가중치 부여가 다양한 대비 학습 작업에서 최종 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 하드 네거티브 대비 학습 설정에서 CCL-K는 CIFAR-10에서 InfoNCE 기준보다 1.8% 향상되었고, ImageNet-100에서는 3.1% 향상되었다.
• 동일한 설정에서 CCL-K는 HardNeg InfoNCE 기준보다 CIFAR-10에서 0.3% 향상되었고, ImageNet-100에서는 2.0% 향상되었다.
• 약한 감독, 공정성, 하드 네거티브 대비 학습의 세 가지 평가 작업 전반에서 CCL-K는 최신 기준 성능을 달성했다.
• 이 방법은 분할 또는 군집화 없이도 연속적인 조건부 변수에서 효과적인 대비 학습을 가능하게 하였다.
• 실증 결과는 하드 네거티브 샘플링에서 유클리드 거리 기반 가중치보다 커널 기반 가중치 부여가 더 우수한 최종 성능을 이끌어낸다는 것을 보여주었다.
• 낮은 자원을 가진 조건부 값이 존재하더라도 CCL-K는 다양한 조건부 대비 학습 목표에 대해 강인성과 일반화 능력을 입증하였다.