[논문 리뷰] The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning

Romain Cosentino, Sarath Shekkizhar외 3명|arXiv (Cornell University)|2022. 09. 18.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 자기지도학습(SSL) 모델을 분석하기 위해 다양체 그래프 지표(MGMs)를 사용하는 데이터 기반 기하 프레임워크를 제안한다. 이 프레임워크는 전이 학습 성능이 증강 다양체의 기하적 성질, 예를 들어 불변성과 퍼짐 정도와 강하게 연관되어 있음을 드러낸다. 기존의 손실 함수나 아키텍처에 초점을 맞춘 방법들과는 달리, 이 접근법은 특성 공간의 기하학을 직접 측정하며, 특히 두 번째 차수 통계가 다양한 최종 작업에 대해 전이 성능을 예측하는 데 핵심적인 역할을 한다는 것을 보여준다.

ABSTRACT

Self-supervised learning (SSL) has emerged as a desirable paradigm in computer vision due to the inability of supervised models to learn representations that can generalize in domains with limited labels. The recent popularity of SSL has led to the development of several models that make use of diverse training strategies, architectures, and data augmentation policies with no existing unified framework to study or assess their effectiveness in transfer learning. We propose a data-driven geometric strategy to analyze different SSL models using local neighborhoods in the feature space induced by each. Unlike existing approaches that consider mathematical approximations of the parameters, individual components, or optimization landscape, our work aims to explore the geometric properties of the representation manifolds learned by SSL models. Our proposed manifold graph metrics (MGMs) provide insights into the geometric similarities and differences between available SSL models, their invariances with respect to specific augmentations, and their performances on transfer learning tasks. Our key findings are two fold: (i) contrary to popular belief, the geometry of SSL models is not tied to its training paradigm (contrastive, non-contrastive, and cluster-based); (ii) we can predict the transfer learning capability for a specific model based on the geometric properties of its semantic and augmentation manifolds.

연구 동기 및 목표

• 훈련 방식, 아키텍처, 손실 함수에 관계없이 다양한 SSL 모델을 분석할 수 있는 통합된 기하 기반 프레임워크를 개발하는 것.
• 학습된 표현의 기하적 성질—특히 데이터 증강에 대한 불변성과 동치성—이 전이 학습 성능에 어떻게 영향을 미치는지 이해하는 것.
• 프로젝션 헤드 의존성의 한계를 넘어선다며, 특성 공간의 다양체 구조를 기반으로 한 데이터 기반 그래프 기반 방법을 제공하는 것.
• 특정 최종 작업에서 전이 학습 성공률과 관련된 SSL 모델의 기하적 특성, 특히 저샷 또는 분포 외부 설정에서의 성능을 규명하는 것.
• 기하 지표를 사용해 전이 학습 능력을 예측함으로써, 모델 선택 및 작업 맞춤형 SSL 훈련 전략 설계에 새로운 도구를 제공하는 것.

제안 방법

• 데이터 포인트와 그 증강을 기반으로 특성 공간 내 局부 근접성 그래프를 구성하여 의미적 다양체와 증강 다양체를 형성한다.
• 의미적 동치성, 회전 유사도, 증강 불변성의 퍼짐 정도와 같은 기하적 성질을 측정하기 위해 다양체 그래프 지표(MGMs)를 정의한다.
• 그래프 기반 기법을 사용해 근접성 내 평균 거리, 분산, 분포 퍼짐 정도를 계산하여 표현 다양체의 불변성과 곡률을 캡처한다.
• 10개의 다양한 작업에서 MGMs와 최종 전이 학습 정확도 간의 상관관계를 분석하기 위해 회귀 모델을 적용함으로써 특성 선택 및 성능 예측을 가능하게 한다.
• ResNet50 및 ViT 백본을 사용해 다양한 SSL 방법(대비적, 비대비적, 군집 기반)으로 미리 훈련한 모델을 대상으로 분석하며, 인코더 레이어의 특성에서 분석을 수행한다.
• 스펙트럼 및 그래프 이론적 개념을 활용해 해석 가능성과 확장 가능성을 확보함으로써, 경험적 검증을 넘어서 이론적 확장도 가능하게 한다.

실험 결과

연구 질문

• RQ1 대비적, 비대비적, 군집 기반 훈련 방식의 차이가 있음에도 불구하고, 다양한 SSL 모델이 학습한 특성 다양체의 기하적 성질은 어떻게 비교되는가?
• RQ2 특정 증강에 대한 불변성 또는 다양체의 퍼짐 정도와 같은 SSL 표현의 기하적 특성 중 어느 것이 전이 학습 성능을 예측하는 데 유의미한가?
• RQ3 내부 분포 전이 설정과 분포 외부 전이 설정에서 표현 다양체의 기하학이 전이 성능에 더 강하게 연관되는가?
• RQ4 프로젝션 헤드 의존성 없이 인코더의 특성 공간에서 유도된 기하 지표가 기존 ImageNet 정확도 기준보다 전이 학습 정확도를 더 잘 예측할 수 있는가?
• RQ5 두 번째 차수 통계(예: 분산, 퍼짐 정도)가 소수 샘플 또는 도메인 이동 설정에서 전이 성능와 어떻게 관련되는가?

주요 결과

• SSL 모델의 기하학은 본질적으로 훈련 방식(대비적, 비대비적, 군집 기반)에 종속되지 않으며, 아키텍처나 손실 함수의 차이에도 불구하고 다양한 모델이 유사한 기하적 성질을 보인다.
• 다수 샘플 및 미세조정 전이 작업에서는 전이 성능가 기하적 성질(의미적 동치성, 회전 유사도, 증강 유사도)과 반비례 관계를 보이며, 이는 높은 불변성이 성능 향상에 기여함을 시사한다.
• 저샷 또는 도메인 외부 전이 작업(예: CDFSL, 검출, 세그멘테이션)에서는 첫 번째 차수 불변성 지표보다 두 번째 차수 통계, 특히 증강 다양체의 퍼짐 정도가 전이 성능을 더 잘 예측한다.
• 대부분의 작업에서 MGMs와 전이 정확도 간 상관관계는 통계적으로 유의미하다(p ≤ 0.01), 다만 밀도 세그멘테이션 작업에서는 유의미한 상관관계가 없었으며(p = 0.34), 이는 예외였다.
• 제안된 MGMs를 사용해 단순한 회귀 모델을 통해 다양한 최종 작업에서 전이 학습 성능을 성공적으로 예측하였으며, 특히 자르기 및 색상 조작에 대한 유사도의 퍼짐 정도와 같은 핵심 지표가 검출 및 세그멘테이션 작업에서 강한 정적 상관관계를 보였다.
• 결과는 특정 최종 작업, 특히 도메인 이동이 큰 경우에 맞게 기하적 성질—특히 퍼짐 정도와 불변성—를 고려해 SSL 모델를 설계할 경우 전이 성능 향상을 이룰 수 있음을 시사한다.