[논문 리뷰] Blockwise Self-Supervised Learning at Scale

Shoaib Ahmed Siddiqui, David Krueger외 2명|arXiv (Cornell University)|2023. 02. 03.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 ResNet-50을 ImageNet에서 훈련하기 위해 블록별로 독립적으로 Barlow Twins의 손실 함수를 적용하는 블록별 자기지도 학습 방법을 제안한다. 이는 70.48%의 상위-1 정확도를 달성하며, 전방향 전파 방식에 비해 1.1% 뿐 낮다. 이 방법은 블록을 동시에 훈련시키며, 특징 확장 풀링을 사용하고, 일반화 성능 향상을 위해 가우시안 노이즈를 도입한다. 이는 국소적 학습 규칙이 성능 저하를 최소화하면서도 대규모 모델로 확장될 수 있음을 보여준다.

ABSTRACT

Current state-of-the-art deep networks are all powered by backpropagation. In this paper, we explore alternatives to full backpropagation in the form of blockwise learning rules, leveraging the latest developments in self-supervised learning. We show that a blockwise pretraining procedure consisting of training independently the 4 main blocks of layers of a ResNet-50 with Barlow Twins' loss function at each block performs almost as well as end-to-end backpropagation on ImageNet: a linear probe trained on top of our blockwise pretrained model obtains a top-1 classification accuracy of 70.48%, only 1.1% below the accuracy of an end-to-end pretrained network (71.57% accuracy). We perform extensive experiments to understand the impact of different components within our method and explore a variety of adaptations of self-supervised learning to the blockwise paradigm, building an exhaustive understanding of the critical avenues for scaling local learning rules to large networks, with implications ranging from hardware design to neuroscience.

연구 동기 및 목표

• 블록별 훈련과 국소적 학습 규칙이 ImageNet과 같은 대규모 데이터셋에서 전방향 전파 방식과 유사한 성능을 낼 수 있는지 조사하는 것.
• 블록 순서, 풀링 전략, 노이즈 주입과 같은 아키텍처 선택이 블록별 자기지도 학습에 미치는 영향을 이해하는 것.
• 국소적 학습 규칙을 깊은 신경망으로 확장할 수 있는지 탐색하며, 뇌과학 및 에너지 효율적인 하드웨어 설계에 대한 영향을 고려하는 것.
• 블록별 프레임워크에서 동시에 훈련하는 것과 순차적으로 훈련하는 것 중 어느 것이 더 나은 표현 학습을 이끌어내는지 규명하는 것.
• 블록별 자기지도 학습 환경에서 하위 블록을 지도 학습 목적으로 사전 훈련하면 전체 네트워크 성능에 악영향을 미치는지 평가하는 것.

제안 방법

• 이 방법은 ResNet-50의 네 개의 주요 블록 각각에 Barlow Twins의 자기지도 학습 손실 함수를 독립적으로 적용하여, 대조적 표현 학습을 통해 각 블록을 별도로 훈련시는 방식이다.
• 블록은 순차적으로가 아니라 동시에 훈련시키며, 전방향 경로를 통해 블록 간 정보 흐름을 유지한다.
• 손실 함수 적용 전에 블록 출력의 특징 차원을 증가시키기 위해 확장 풀링 전략을 사용한다. 이는 성공적인 훈련에 매우 중요하다.
• 활성화 전에 표준편차 σ = 0.25인 가우시안 노이즈를 주입하여 일반화 성능을 향상시키며, 이는 약 0.5%의 정확도 향상을 이끌어낸다.
• 프로젝터 네트워크를 사용하여 블록 출력을 잠재 공간으로 매핑하고, Barlow Twins 손실을 계산함으로써 불변성과 정보 보존을 보장한다.
• 블록 간 전파를 피하는 방식이지만, 각 블록 내부의 레이어와 프로젝터 네트워크를 포함한 전방향 전파를 유지한다.

실험 결과

연구 질문

• RQ1 블록별 자기지도 학습과 국소적 손실 함수를 사용할 경우 ImageNet에서 전방향 전파 방식과 유사한 성능을 달성할 수 있는가?
• RQ2 블록별 프레임워크에서 블록을 동시에 훈련시키는 것이 순차적으로 훈련시키는 것보다 우수한가? 그 이유는 무엇인가?
• RQ3 다양한 풀링 전략과 특징 차원 전략이 블록별 자기지도 학습의 성능에 어떤 영향을 미치는가?
• RQ4 블록별 자기지도 학습 환경에서 하위 블록을 지도 학습 목적으로 사전 훈련하면 전체 네트워크 성능이 떨어지는가?
• RQ5 노이즈 주입과 적응형 증강 전략이 블록별 훈련 모델의 표현 품질을 향상시킬 수 있는가?

주요 결과

• 블록별 자기지도 학습 방법은 ImageNet에서 선형 프로브 상위-1 정확도 70.48%를 달성하였으며, 전방향 전파로 훈련된 ResNet-50의 71.57%에 비해 단지 1.1% 떨어졌다.
• 블록을 동시에 훈련시키는 것이 순차적 훈련보다 유의미하게 뛰어나 1.72%의 정확도 향상을 보였으며, 이는 전방향 경로 상호작용이 학습에 핵심적임을 시사한다.
• 활성화 전에 표준편차 σ = 0.25인 가우시안 노이즈를 주입하면 성능이 약 0.5% 향상되었고, 더 높은 노이즈 수준(σ = 0.5)은 결과를 악화시켰다.
• 풀링을 통해 블록 출력의 특징 차원을 확장하는 것이 성공적인 훈련에 필수적이었으며, 단순 평균 풀링이나 최대 풀링보다 우수한 성능을 보였다.
• 하위 블록을 지도 학습으로 사전 훈련하면 전체 네트워크 성능이 떨어졌으며, 이는 초기 레이어에서 조기 불변성 학습이 고차원 특징 학습에 악영향을 미친다는 것을 시사한다.
• 첫 번째 두 블록을 하나의 블록으로 통합하면 최종 정확도가 향상되었으며, 이는 너무 많은 블록 분할이 성능을 떨어뜨리고 완전히 국소화된 학습으로의 확장성을 제한한다는 것을 의미한다.