[논문 리뷰] High Fidelity Visualization of What Your Self-Supervised Representation Knows About

Florian Bordes, Randall Balestriero외 1명|arXiv (Cornell University)|2021. 12. 16.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 고해상도 이미지 공간에서 자기지도 학습 표현 공간을 시각화하기 위해 표현 조건부 확산 모델(RCDM)을 도입한다. 이 모델은 학습된 표현에 조건부로 입력을 충실하게 재구성할 수 있도록 한다. 방법론을 통해 자기지도 학습 백본이 데이터 증강에 대해 불변성이 아니라는 점이 드러나며, 후행 프로젝터 특징은 불변성을 보임을 확인한다. 또한 자기지도 학습 표현이 적대적 편향에 더 강건하며, 구조적이고 조작 가능한 특징을 갖는다는 점이 입증된다.

ABSTRACT

Discovering what is learned by neural networks remains a challenge. In self-supervised learning, classification is the most common task used to evaluate how good a representation is. However, relying only on such downstream task can limit our understanding of what information is retained in the representation of a given input. In this work, we showcase the use of a Representation Conditional Diffusion Model (RCDM) to visualize in data space the representations learned by self-supervised models. The use of RCDM is motivated by its ability to generate high-quality samples -- on par with state-of-the-art generative models -- while ensuring that the representations of those samples are faithful i.e. close to the one used for conditioning. By using RCDM to analyze self-supervised models, we are able to clearly show visually that i) SSL (backbone) representation are not invariant to the data augmentations they were trained with -- thus debunking an often restated but mistaken belief; ii) SSL post-projector embeddings appear indeed invariant to these data augmentation, along with many other data symmetries; iii) SSL representations appear more robust to small adversarial perturbation of their inputs than representations trained in a supervised manner; and iv) that SSL-trained representations exhibit an inherent structure that can be explored thanks to RCDM visualization and enables image manipulation.

연구 동기 및 목표

• 자기지도 학습 표현 학습에서의 시각적 해석 가능성 부족, 특히 재구성 또는 생성과 직접 연결되지 않은 표현에 대해 해결하고자 한다.
• 자기지도 학습의 핵심 가정인 데이터 증강에 대한 표현의 진정한 불변성 여부를 탐구하고자 한다.
• 자기지도 학습 표현이 감독 학습 대비 작은 적대적 편향에 대해 얼마나 강건한지 평가하고자 한다.
• 자기지도 학습 표현에 포함된 구조적이고 분리 가능한 요소를 밝혀내어 의미 있는 이미지 조작을 가능하게 하고자 한다.
• 학습된 표현에 조건부로 고해상도 생성을 통해 모델 실패 분석을 위한 진단 도구를 제공하고자 한다.

제안 방법

• 저자는 표현 벡터에 조건부로 고해상도 이미지를 생성하는 조건부 확산 모델(RCDM)을 사용하여, 생성된 이미지의 표현이 입력 조건 벡터와 유사하게 유지되도록 보장한다.
• RCDM는 생성된 이미지와 조건 벡터 간의 표현 거리를 최소화하도록 훈련되며, 충실도를 강제하기 위해 대조적 목적함수를 사용한다.
• 이 방법은 ResNet50 또는 비전 트랜스포머(ViT) 백본에서 추출한 특징에 조건부로 적용되며, 훈련되지 않은, 감독 학습, 자기지도 학습 모델 모두 포함된다.
• 이 접근법은 조건부 생성을 통해 표현 공간을 시각적으로 탐색할 수 있게 하여, 객체 정체성, 배경, 색상과 같은 분리 가능한 요소를 조작할 수 있다.
• RCDM는 여러 훈련 단계(1, 5, 50 에포크)에 걸쳐 적용되어 학습 과정에서의 표현 특징 변화를 시각화한다.
• 이 방법은 ImageNet 및 실세계 이미지(예: 나사의 지구)에서 검증되었으며, 증강 기법에 대한 분석 연구도 수행되었다.

실험 결과

연구 질문

• RQ1 자기지도 학습 표현은 색상 왜곡 및 자르기와 같은 데이터 증강에 대해 진정으로 불변성이 있는가?
• RQ2 자기지도 학습 백본에서 학습된 표현은 감독 학습 모델 대비 적대적 편향에 대해 얼마나 강건한가?
• RQ3 자기지도 학습 표현은 구조적이고 분리 가능한 요소를 포함하고 있으며, 이를 통해 새로운 이미지 조합을 생성할 수 있는가?
• RQ4 훈련 과정에서 표현은 어떻게 진화하며, 어떤 특징이 먼저 학습되는가?
• RQ5 표현에서 고해상도 생성을 통해 숨겨진 편향이나 과적합(예: 색상 기반 기억화)을 드러낼 수 있는가?

주요 결과

• 자기지도 학습 백본 표현은 데이터 증강에 대해 불변성이 아니며, 널리 공유되지만 잘못된 가정을 뒤집는 결과이다.
• 후행 프로젝터 특징은 데이터 증강 및 기타 대칭성에 대해 강력한 불변성을 보이며, 프로젝터가 불변성을 달성하는 데 기여한다는 점을 확인한다.
• 조건부 생성을 통해 증명된 바와 같이, 자기지도 학습 표현은 감독 학습 표현보다 작은 적대적 편향에 훨씬 더 강건하다.
• RCDM로 생성된 이미지에서 자기지도 학습 표현이 객체 정체성과 배경과 같은 구조적이고 분리 가능한 요소를 포함하고 있음을 확인하였으며, 배경 교체와 같은 새로운 이미지 조작이 가능하다.
• 색상 증강 없이 자기지도 학습 모델을 훈련시키면, 표현이 색상과 질감 통계를 기억하게 되며, RCDM 샘플을 통해 색상은 유지되지만 형태 재구성이 실패하는 것으로 확인된다.
• 훈련 과정에서 자기지도 학습 표현은 1 에포크 만에 색상과 질감 정보를 먼저 인코딩하며, 형태 세부 사항은 5~50 에포크가 지난 후에야 나타나므로, 구조적 특징의 점진적 학습 과정을 보여준다.