[논문 리뷰] Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning

Florian Bordes, Randall Balestriero외 3명|arXiv (Cornell University)|2022. 06. 27.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 자기지도학습(SSL)에서 훈련 후 최종 프로젝터 헤드 레이어를 제거하는 기법인 Guillotine Regularization을 소개한다. 이는 SSL 목적이 해당 레이어에서 최적화되는 바에도 불구하고, 일반화 성능을 향상시킨다. 핵심 발견은 다운스트림 작업에 가장 적합한 레이어가 종종 마지막 프로젝터 레이어가 아니라 중간 레이어라는 점이며, 이 성능 향상은 SSL 사전과제와 다운스트림 작업 간의 불일치에서 기인한다. 이러한 불일치를 줄이기 위해 더 나은 양성 쌍 설계를 하면 Guillotine Regularization의 필요성이 감소한다.

ABSTRACT

One unexpected technique that emerged in recent years consists in training a Deep Network (DN) with a Self-Supervised Learning (SSL) method, and using this network on downstream tasks but with its last few projector layers entirely removed. This trick of throwing away the projector is actually critical for SSL methods to display competitive performances on ImageNet for which more than 30 percentage points can be gained that way. This is a little vexing, as one would hope that the network layer at which invariance is explicitly enforced by the SSL criterion during training (the last projector layer) should be the one to use for best generalization performance downstream. But it seems not to be, and this study sheds some light on why. This trick, which we name Guillotine Regularization (GR), is in fact a generically applicable method that has been used to improve generalization performance in transfer learning scenarios. In this work, we identify the underlying reasons behind its success and show that the optimal layer to use might change significantly depending on the training setup, the data or the downstream task. Lastly, we give some insights on how to reduce the need for a projector in SSL by aligning the pretext SSL task and the downstream task.

연구 동기 및 목표

• 최종 프로젝터 레이어를 제거함으로써 다운스트림 성능이 크게 향상되는 이유를, 이는 SSL 목적이 해당 레이어에서 최적화되는 바에도 불구하고 탐구하는 것.
• 이 직관에 어긋나는 이 기법인 Guillotine Regularization의 효과성의 근본 원인을 규명하는 것.
• 훈련 최적화, 데이터 분포, 다운스트림 작업 특성 등이 전이 학습에 가장 적합한 레이어에 어떤 영향을 미치는지 분석하는 것.
• SSL 사전과제와 다운스트림 작업 간의 불일치를 줄이기 위해 사전과제에서 양성 쌍을 더 잘 정의하면 Guillotine Regularization의 필요성이 감소함을 보여주는 것.
• 백본 또는 최종 프로젝터 레이어에만 의존하기보다는, 전이 학습 시 여러 레이어에서 체계적으로 평가할 것을 주장하는 것.

제안 방법

• 저자는 아키텍처 수정(예: 프로젝터 추가)과는 다를 바 있는 후처리 레이어 제거 기법인 Guillotine Regularization을 도입한다.
• 다양한 SSL 방법(SimCLR, MoCo, BYOL 등)으로 훈련된 ResNet50 모델의 여러 레이어에서 선형 프로브를 평가하여 레이어 간 다운스트림 성능을 비교한다.
• 두 가지 다른 양성 쌍 정의 방식을 실험한다: 사전학습된 SSL 모델에서의 근접 이웃, ImageNet 레이블 기반의 클래스 기반 쌍으로, 다운스트림 작업과의 일치도를 테스트한다.
• 조건부 생성 모델(RCDM)을 사용해 다양한 네트워크 레이어에서 유지되는 정보의 양을 시각화하고 비교한다.
• 표준 데이터 증강 기법(자르기, 색상 왜곡, 흐림, 솔라라이제이션)을 사용하고, 모든 SSL 방법에 동일한 3층 MLP 헤드를 적용하여 일관성을 확보한다.
• 최적화, 데이터, 다운스트림 작업에 대한 분석을 통해 레이어 선택 민감도를 평가하는 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 자기지도학습 모델에서 최종 프로젝터 레이어를 제거하면 왜 다운스트림 작업에서 성능 향상이 크게 발생하는가?
• RQ2 SSL 사전과제와 다운스트림 작업 간의 일치도가 Guillotine Regularization의 필요성에 어떤 영향을 미치는가?
• RQ3 전이 학습에 가장 적합한 레이어가 훈련 설정, 데이터 분포, 또는 다운스트림 작업에 따라 달라지는가?
• RQ4 SSL 사전과제에서 양성 쌍을 다운스트림 목표와 더 잘 일치하도록 재정의하면 Guillotine Regularization의 필요성이 줄어들 수 있는가?
• RQ5 SSL에서 중간 레이어가 최종 프로젝터 레이어보다 더 많은 전이 가능성과 일반화 능력을 갖춘 특징을 포함하는가?

주요 결과

• SSL 목적이 최종 프로젝터 레이어에서 최적화되는 바에도 불구하고, Guillotine Regularization을 통해 ImageNet 선형 프로브 정확도를 최대 30%p 향상시킬 수 있다.
• 다운스트림 성능에 가장 적합한 레이어가 항상 마지막 프로젝터 레이어는 아니며, 많은 경우 중간 레이어가 백본과 프로젝터 둘 다를 앞선다.
• SSL에서 양성 쌍을 클래스 수준의 유사성(예: 동일한 ImageNet 클래스)으로 정의할 경우, 백본과 프로젝터 레이어 간 성능 격차가 크게 감소한다.
• 근접 이웃 기반의 양성 쌍을 사용하면 백본과 프로젝터 레이어 간 성능 격차가 줄어들며, 이는 사전과제와 다운스트림 작업 간의 일치도를 높임으로써 Guillotine Regularization의 필요성이 감소함을 시사한다.
• 최종 프로젝터 레이어의 표현은 고수준 의미 정보(예: 개 품종 식별)를 상실하는 경향이 있으며, RCDM를 통한 조건부 생성을 통해 중간 레이어가 이러한 정보를 더 잘 유지하고 있음을 확인할 수 있다.
• Guillotine Regularization의 효과는 훈련 설정, 데이터, 다운스트림 작업에 매우 민감하여, 모든 상황에서 유일한 최적 레이어가 존재하지 않음을 시사한다.