[논문 리뷰] Do Self-Supervised and Supervised Methods Learn Similar Visual Representations?

Tom George Grigg, Dan Busbridge외 2명|arXiv (Cornell University)|2021. 10. 01.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 ResNet-50에서 CIFAR-10을 사용하여 중심화된 커널 일치도(Centered Kernel Alignment, CKA)를 활용해 자기지도학습(SimCLR)과 지도학습의 표현을 비교한다. 중간층 표현은 유사하지만, 최종층에서는 차이가 발생함을 발견한다: SimCLR는 증강에 대한 불변성을 학습하는 반면, 지도학습은 클래스 구조에 맞추어 진화한다. 핵심 통찰은 SimCLR의 성공이 최종층의 유사성 때문이 아니라, 클래스 정보를 담은 중간층 특징 때문임을 밝힌다.

ABSTRACT

Despite the success of a number of recent techniques for visual self-supervised deep learning, there has been limited investigation into the representations that are ultimately learned. By leveraging recent advances in the comparison of neural representations, we explore in this direction by comparing a contrastive self-supervised algorithm to supervision for simple image data in a common architecture. We find that the methods learn similar intermediate representations through dissimilar means, and that the representations diverge rapidly in the final few layers. We investigate this divergence, finding that these layers strongly fit to their distinct learning objectives. We also find that the contrastive objective implicitly fits the supervised objective in intermediate layers, but that the reverse is not true. Our work particularly highlights the importance of the learned intermediate representations, and raises critical questions for auxiliary task design.

연구 동기 및 목표

• 자기지도학습과 지도학습 방법이 네트워크 깊이 전반에서 유사한 시각적 표현을 학습하는지 조사하는 것.
• 대비적 자기지도학습과 지도학습에서 표현이 네트워크 깊이에 따라 어떻게, 그리고 왜 갈라지는지 분석하는 것.
• 자기지도학습의 성공이 최종 표현의 구조적 유사성 때문인지, 공유된 중간층 특징 때문인지 평가하는 것.
• 두 방법 모두에서 증강에 대한 불변성과 클래스 구조가 암묵적으로 어떻게 학습되는지 조사하는 것.

제안 방법

• SimCLR(자기지도학습)와 지도학습으로 훈련된 ResNet-50의 각 층에서 표현 유사도를 비교하기 위해 중심화된 커널 일치도(CKA)를 사용한다.
• 각 층에서의 클래스 선형 가분성(Linear separability)을 측정하기 위해 선형 프로브(Linear probe)를 활용하여 다운스트림 표현 품질을 평가한다.
• 각 층에서 원본 테스트 샘플과 증강된 샘플의 표현 간 CKA를 계산하여 증강에 대한 불변성 정도를 측정한다.
• 학습된 표현과 진짜 클래스 심플렉스 구조 간 CKA를 비교하여 레이블과의 일치도를 평가한다.
• 해결책의 안정성을 검증하고 초기화 편향을 방지하기 위해 다수의 무작위 가중치 초기화를 사용한다.
• 표현 학습에서의 구조적 비대칭성을 탐지하기 위해 홀수층과 짝수층을 별도로 분석한다.

실험 결과

연구 질문

• RQ1 자기지도학습과 지도학습 방법이 네트워크 깊이 전반에서 유사한 시각적 표현을 학습하는가?
• RQ2 SimCLR와 지도학습 표현이 최종층에서 얼마나 갈라지며, 그 이유는 무엇인가?
• RQ3 지도학습은 암묵적으로 증강에 대한 불변성을 학습하는가, 아니면 SimCLR만 이 성질을 유일하게 포착하는가?
• RQ4 클래스 정보성과 구조적 유사성 측면에서 중간층 표현은 어떻게 비교되는가?
• RQ5 SimCLR의 성능은 최종층의 유사성 때문인가, 아니면 공유된 중간층 특징 학습 때문인가?

주요 결과

• Residual(잔차) 표현은 SimCLR와 지도학습 간 유사하지만, 잔차 내부(블록 내부) 표현은 유사하지 않아, 두 방법이 다른 최적화 경로를 따름을 시사한다.
• 초기 잔차 층의 표현은 유사하여, 두 방법 모두에서 공통된 저수준 원자적 특징이 학습됨을 시사한다.
• 최종층에서 빠르게 갈라짐: CKA와 선형 프로브 정확도로 확인된 바, SimCLR는 강력한 증강 불변성을 학습하는 반면, 지도학습은 클래스 구조에 맞추어 진화한다.
• 지도학습은 암묵적으로 증강 불변성을 학습하지 않지만, SimCLR의 증강에 대해 불변성을 학습하는 것은 클래스 가분성을 유도한다.
• 표현 구조는 최종층에서 빠르게 갈라지며, 이는 SimCLR의 성능가 중간층의 클래스 정보를 담은 특징 덕분이지 최종층의 일치 때문이 아님을 시사한다.
• 클래스 구조 일치도는 두 방법 모두에서 단조롭게 증가하지만, 지도학습은 최종 블록 그룹에서 명시적 최적화로 인해 급격히 증가한다.