[논문 리뷰] RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank

Quentin Garrido, Randall Balestriero외 2명|arXiv (Cornell University)|2022. 10. 05.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

RankMe는 자체 학습 표현의 최종 성능을 평가하기 위해 특성 행렬의 유효 랭크를 단일값 분해(SVD)를 사용하여 계산하는 레이블 불필요, 하이퍼파라미터 불필요 방법을 제안한다. 이는 레이블이나 학습이 필요 없이 다양한 데이터셋과 모델에서 하이퍼파라미터 선택에서 거의 최적의 성능을 달성하며, 일부 경우에서 레이블 기반 방법을 능가한다.

ABSTRACT

Joint-Embedding Self Supervised Learning (JE-SSL) has seen a rapid development, with the emergence of many method variations but only few principled guidelines that would help practitioners to successfully deploy them. The main reason for that pitfall comes from JE-SSL's core principle of not employing any input reconstruction therefore lacking visual cues of unsuccessful training. Adding non informative loss values to that, it becomes difficult to deploy SSL on a new dataset for which no labels can help to judge the quality of the learned representation. In this study, we develop a simple unsupervised criterion that is indicative of the quality of the learned JE-SSL representations: their effective rank. Albeit simple and computationally friendly, this method -- coined RankMe -- allows one to assess the performance of JE-SSL representations, even on different downstream datasets, without requiring any labels. A further benefit of RankMe is that it does not have any training or hyper-parameters to tune. Through thorough empirical experiments involving hundreds of training episodes, we demonstrate how RankMe can be used for hyperparameter selection with nearly no reduction in final performance compared to the current selection method that involve a dataset's labels. We hope that RankMe will facilitate the deployment of JE-SSL towards domains that do not have the opportunity to rely on labels for representations' quality assessment.

연구 동기 및 목표

• 공동 특성 임베딩 자체 학습(JE-SSL)에서 레이블 없이 원칙적인 평가 기준이 부족한 문제를 해결하기 위해.
• 다운스트림 레이블이나 시각적 검토 방법에 의존하지 않고도 JE-SSL에 대한 신뢰할 수 있는 모델 선택 및 하이퍼파라미터 튜닝을 가능하게 하기 위해.
• 다양한 아키텍처와 데이터셋에서 최종 성능과 강하게 상관관계를 가지며, 단순하고 계산적으로 효율적이며 해석 가능한 메트릭을 개발하기 위해.
• 특히 자원이 제한된 또는 레이블이 없는 도메인에서 JE-SSL 배포 시 레이블 의존도를 줄이기 위해.

제안 방법

• RankMe는 JE-SSL 학습 중 프로젝터 출력으로 생성된 특성 행렬의 유효 랭크를 단일값 분해(SVD)를 사용하여 계산한다.
• 유효 랭크는 특이값 분포를 이용해 추정되며, 이는 표현 품질의 대체 지표로 기능한다.
• 이 방법은 완전히 비지도이며, 학습, 하이퍼파라미터, 레이블이 모두 필요하지 않다. 오직 사전 학습된 모델의 특성 행렬만 필요하다.
• 유효 랭크는 제곱된 특이값의 합을 최대 가능 랭크로 정규화한 값으로 계산된다.
• 이 접근법은 높은 입력 랭크가 선형 분류기 성능을 향상시킨다는 커버의 정리와 기반을 두고 있다.
• 레이블이 없더라도 특성 랭크 기반 순위를 통해 하이퍼파라미터의 교차 검증이 가능해진다.

실험 결과

연구 질문

• RQ1 레이블이나 학습 데이터 없이도 자기 학습 특성의 유효 랭크가 최종 성능을 예측할 수 있는가?
• RQ2 다양한 SSL 방법(SimCLR, VICReg, DINO 등)과 아키텍처에서 특성 랭크와 최종 정확도 간의 상관관계는 얼마나 높은가?
• RQ3 RankMe를 사용하여 레이블에 의존하지 않고 JE-SSL 모델의 최적 하이퍼파라미터를 선택할 수 있는가?
• RQ4 학습 및 평가 데이터 분포가 다를 때, RankMe는 분포 외(OOD) 데이터셋으로 일반화되는가?
• RQ5 다양한 랜덤 시드와 학습 런에 걸쳐 RankMe는 안정적이고 강건한가?

주요 결과

• RankMe는 11개 데이터셋과 5개의 SSL 방법에서 110개의 모델에 걸쳐 하이퍼파라미터 선택에서 거의 최적의 최종 성능을 달성했으며, 레이블 기반 방법과 동등하거나 뛰어난 성능을 보였다.
• RankMe는 인라인 및 아웃오브라인 데이터셋 모두에서 특성 랭크와 최종 정확도 사이에 강한 상관관계를 보였으며, ImageNet, CIFAR10, CIFAR100, FOOD101, VOC07, CLEVR-count 등 다양한 데이터셋에서 확인되었다.
• 예를 들어, ImageNet에서는 레이블 기반 모델의 최고 성능과 1% 이내의 정확도를 달성했으며, 레이블이 전혀 필요 없었다.
• 특성의 유효 랭크는 안정적이고 신뢰할 수 있는 지표로, 11개 데이터셋과 110회의 학습 런에서 일관된 성능을 보였다.
• 레이블에 접근할 수 없음에도 불구하고, RankMe는 11개 데이터셋 중 7개에서 베이스라인 방법을 능가하는 하이퍼파라미터 선택 성능을 보였다.
• RankMe는 SimCLR, VICReg, DINO 등의 다양한 SSL 프레임워크와 선형 및 k-NN 분류 평가 프로토콜 모두에서 강건하고 안정적인 성능을 보였다.