[논문 리뷰] An Empirical Study on Disentanglement of Negative-free Contrastive Learning

Jinkun Cao, Ruiqian Nai외 3명|arXiv (Cornell University)|2022. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 기존의 메트릭이 실패하는 고차원 표현 공간에서 음성 없는 대비 학습을 평가하기 위해 새로운 분리도 측정법인 MED(Mutual Information based Entropy Disentanglement)를 제안한다. 실험적으로 음성 없는 대비 학습 방법이 잘 분리된 표현의 부분공간을 학습할 수 있음을 입증하며, 분리도 연구를 저차원 합성 벤치마크를 넘어서 실세계의 복잡한 데이터인 CelebA와 고차원 모델로 확장한다.

ABSTRACT

Negative-free contrastive learning methods have attracted a lot of attention with simplicity and impressive performances for large-scale pretraining. However, its disentanglement property remains unexplored. In this paper, we examine negative-free contrastive learning methods to study the disentanglement property empirically. We find that existing disentanglement metrics fail to make meaningful measurements for high-dimensional representation models, so we propose a new disentanglement metric based on Mutual Information between latent representations and data factors. With this proposed metric, we benchmark the disentanglement property of negative-free contrastive learning on both popular synthetic datasets and a real-world dataset CelebA. Our study shows that the investigated methods can learn a well-disentangled subset of representation. As far as we know, we are the first to extend the study of disentangled representation learning to high-dimensional representation space and introduce negative-free contrastive learning methods into this area. The source code of this paper is available at \url{https://github.com/noahcao/disentanglement_lib_med}.

연구 동기 및 목표

• 기존의 분리도 메트릭이 효과를 발휘하지 못하는 고차원 공간에서 음성 없는 대비 학습이 분리된 표현을 생성할 수 있는지 조사하는 것.
• 합성적이고 저차원적인 데이터셋을 넘어서 실세계의 복잡한 데이터인 CelebA와 같은 데이터로 분리된 표현 학습을 확장하는 것.
• 고차원 표현 모델에 적합한 강건한 분리도 메트릭을 개발하여 이전 메트릭의 한계를 극복하는 것.
• 최신 음성 없는 대비 학습 방법들의 분리도 성능을 합성 및 실세계 데이터셋에서 실험적으로 벤치마킹하는 것.

제안 방법

• 잠재 표현과 원천 데이터 요소 간의 상호정보량을 기반으로 한 새로운 분리도 메트릭인 MED를 제안하여 고차원 공간에서의 의미 있는 평가를 가능하게 한다.
• MED 점수를 기반으로 전체 표현 공간에서 가장 분리도가 높은 차원들을 top-k 선택 전략을 통해 식별한다.
• dSprites, Shapes3D, SmallNORB, Cars3D와 같은 합성 데이터셋과 실세계의 CelebA 데이터셋에서 MED 메트릭을 적용하여 분리도를 평가한다.
• 제안된 MED 메트릭을 사용하여 여러 음성 없는 대비 학습 모델(SimSiam, BYOL, Barlow Twins 등)을 훈련하고 평가한다.
• 상위 k개의 분리도가 높은 부분공간의 성능을 전체 표현과 저차원 VAE 기반 베이스라인과 비교한다.
• 하이퍼파rameter k에 대한 아블레이션 스터디를 수행하여 상위 k개의 MED 선택이 다양한 부분공간 크기에서 강건함을 검증한다.

실험 결과

연구 질문

• RQ1 기존의 분리도 메트릭은 고차원 표현 모델, 특히 대비 학습에서 유도된 모델을 의미 있게 평가할 수 있는가?
• RQ2 음성 없는 대비 학습 방법은 고차원 잠재 공간에서 분리된 표현을 학습하는가?
• RQ3 고차원 대비 표현에서 잘 분리된 부분공간을 식별할 수 있으며, 그 성능은 전체 표현과 비교해 어떻게 되는가?
• RQ4 실세계 데이터인 CelebA와 같은 데이터에서 대비 학습의 분리도 품질은 기존의 VAE 기반 생성 모델과 비교해 어떻게 되는가?
• RQ5 대비 모델에서 상위 k개로 선택된 부분공간은 저차원 VAE에 비해 경쟁력 있거나 더 뛰어난 최종 성능을 달성하는가?

주요 결과

• 제안된 MED 메트릭은 이전 메트릭이 설계상의 한계로 인해 실패하는 고차원 표현 공간에서 분리도 평가를 성공적으로 수행한다.
• SimSiam, BYOL과 같은 음성 없는 대비 학습 방법이 MED 측정치를 통해 고차원 잠재 차원의 일부에서 강력한 분리도를 달성한다.
• CelebA 데이터셋에서 기존의 VAE 기반 방법은 좋은 분리된 표현을 학습하지 못함을 확인하여 현재의 분리도 연구와 실세계 데이터의 복잡성 사이에 격차가 있음을 드러낸다.
• dSprites, Shapes3D, CelebA에서 대비 모델의 상위 k개 분리도 부분공간은 저차원 VAE의 전체 표현과 비교해 유사하거나 더 뛰어난 최종 성능을 달성한다.
• 다양한 k 값에 대해 상위 k개 부분공간의 MED 점수는 안정적으로 유지되며, 이는 선택 과정의 강건성과 신뢰성을 시사한다.
• 연구 결과, 전체 표현은 많은 차원에서 요소 관련 정보를 포함하고 있으나, 상위 k개로 선택된 차원은 매우 높은 분리도와 해석 가능성을 보임을 확인하였다.