[논문 리뷰] Unsupervised visualization of image datasets using contrastive learning

Jan Niklas Böhm, Philipp Berens외 1명|arXiv (Cornell University)|2022. 10. 18.

Data Visualization and Analytics인용 수 6

한 줄 요약

이 논문은 비지도 학습을 통해 이미지 데이터셋을 2차원으로 시각화하는 파arametric 2D 임베딩 네트워크를 학습하는 대비학습 기반 방법 t-SimCNE를 제안한다. SimCLR 방식의 대비학습과 2차원에서 t-SNE 방식의 이웃 모델링을 결합함으로써, t-SimCNE는 상태최저 수준의 k-NN 분류 정확도(89% on CIFAR-10, 51% on CIFAR-100)를 달성하면서도, 샘플 외 추론이 가능하며, 의미적으로 유의미하고 해석 가능한 이미지 클러스터, 아티팩트, 이방자들을 시각화할 수 있다.

ABSTRACT

Visualization methods based on the nearest neighbor graph, such as t-SNE or UMAP, are widely used for visualizing high-dimensional data. Yet, these approaches only produce meaningful results if the nearest neighbors themselves are meaningful. For images represented in pixel space this is not the case, as distances in pixel space are often not capturing our sense of similarity and therefore neighbors are not semantically close. This problem can be circumvented by self-supervised approaches based on contrastive learning, such as SimCLR, relying on data augmentation to generate implicit neighbors, but these methods do not produce two-dimensional embeddings suitable for visualization. Here, we present a new method, called t-SimCNE, for unsupervised visualization of image data. T-SimCNE combines ideas from contrastive learning and neighbor embeddings, and trains a parametric mapping from the high-dimensional pixel space into two dimensions. We show that the resulting 2D embeddings achieve classification accuracy comparable to the state-of-the-art high-dimensional SimCLR representations, thus faithfully capturing semantic relationships. Using t-SimCNE, we obtain informative visualizations of the CIFAR-10 and CIFAR-100 datasets, showing rich cluster structure and highlighting artifacts and outliers.

연구 동기 및 목표

• 픽셀 공간에 직접 적용할 경우 유클리드 거리가 의미적 유사도를 반영하지 못하는 전통적인 이웃 임베딩 방법(t-SNE, UMAP 등)의 실패를 해결하기 위해.
• 라벨이 필요 없이 이미지 데이터의 의미적 관계를 유지하는 파라미터 기반 비지도 2차원 임베딩 방법을 개발하기 위해.
• 픽셀 공간에서 2차원으로의 미분 가능한 매핑을 학습함으로써, 비파라미터 기반 시각화 방법의 한계를 극복하고 샘플 외 추론을 가능하게 하기 위해.
• 대비학습(의미적 표현 학습)의 강점과 t-SNE(2차원에서의 이웃 보존)의 강점을 하나의 종단간 훈련 가능한 프레임워크로 통합하기 위해.

제안 방법

• 입력 이미지를 2차원 임베딩 공간으로 매핑하기 위해 ResNet 기반 모델과 2차원 프로젝션 헤드를 사용한다.
• 동일한 이미지에서 양성 쌍을 생성하기 위해 표준 증강 기법(예: 무작위 컷, 색상 왜곡 등)을 적용한다.
• 대비 손실은 InfoNCE 목적함수를 사용해 최적화하며, 2차원 임베딩 공간 내에서 증강된 시각 간의 유사도를 극대화한다.
• 2차원 유사도는 코시(t-분포) 커널을 사용해 모델링하며, t-SNE의 접근 방식을 그대로 따르며 국소적 이웃 구조를 보존한다.
• 3단계 훈련 프로토콜을 적용한다: 128D 헤드로 1000 에포크 동안 사전 훈련, 2D 리더아웃만 50 에포크 동안 미세조정, 이후 종단간 미세조정 450 에포크 수행.
• 최종 모델은 파라미터 기반으로, 학습된 매핑을 직접 적용해 새로운 샘플 외 이미지에 대한 추론이 가능하다.

실험 결과

연구 질문

• RQ1 라벨 없이도 고성능이고 해석 가능한 2차원 시각화를 제공할 수 있는 대비학습 프레임워크를 이미지 데이터셋에 적용할 수 있는가?
• RQ2 대비학습을 통해 학습된 2차원 파라미터 기반 임베딩가 고차원 SimCLR 표현만큼 의미적 구조를 효과적으로 유지하는가?
• RQ3 t-SimCNE는 SimCLR 특징에 t-SNE를 적용한 비파라미터 기반 방법과 비교해 클러스터 간 분리도와 이방자 탐지 능력에서 어떻게 다른가?
• RQ4 이 방법은 CIFAR-10과 CIFAR-100과 같은 데이터셋에서 서브클래스, 아티팩트, 이상치와 같은 세부적인 구조를 효과적으로 드러내는가?

주요 결과

• t-SimCNE는 CIFAR-10에서 89%의 k-NN 분류 정확도, CIFAR-100에서 51%의 정확도를 달성하여 고차원 SimCLR 표현 수준의 성능을 보였다.
• 시각화 결과는 풍부한 클러스터 구조를 드러내며, 클래스 간 명확한 분리와 이방자, 아티팩트의 강조를 가능하게 하였고, 이는 종종 픽셀 공간 t-SNE에서 간과되는 경향이 있다.
• SimCLR 특징에 t-SNE를 적용한 것과 비교해 t-SimCNE는 더 해석 가능한 시각화를 제공하며, 더 명확한 클래스 경계와 더 두드러진 구조적 세부 정보를 보였다.
• 이 방법은 비파라미터 기반 시각화 기법에 비해 샘플 외 추론이 가능하다는 핵심적 이점이 있으며, 기존 2차원 공간에 새로운 이미지를 임베딩할 수 있도록 한다.
• 고차원 특징 공간(H)에서의 표현 품질은 표준 SimCLR에 비해 略로 떨어지지만, 이는 시각화 활용도의 향상 덕분에 타당한 트레이드오프이다.
• 클러스터링 기반 조정된 Rand 지수 측정에서, t-SimCNE는 비지도 ImageNet 사전학습된 ResNet 특징에 t-SNE를 적용한 경우보다 더 뛰어난 클래스 분리 능력을 보였다.