[논문 리뷰] Can Local Learning Match Self-Supervised Backpropagation?

Wu Zihan, Delrocq, Ariane외 2명|arXiv (Cornell University)|2026. 01. 29.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

해당 논문은 특정 로컬 SELF-슈퍼바이즈드 러닝(local-SSL) 규칙이 직교성(orthonormality) 하에서 심층 선형 네트워크에서 글로벌 BP-SSL 업데이트와 정확히 일치할 수 있음을 보여주고, 공간적으로 구조화된 피드백 강화 버전(CLAPP++)을 개발하여 CNN에서 표준 이미지 데이터셋에 대해 BP-SSL의 성능에 근접하거나 때로는 일치하는 성능을 보인다.

ABSTRACT

While end-to-end self-supervised learning with backpropagation (global BP-SSL) has become central for training modern AI systems, theories of local self-supervised learning (local-SSL) have struggled to build functional representations in deep neural networks. To establish a link between global and local rules, we first develop a theory for deep linear networks: we identify conditions for local-SSL algorithms (like Forward-forward or CLAPP) to implement exactly the same weight update as a global BP-SSL. Starting from the theoretical insights, we then develop novel variants of local-SSL algorithms to approximate global BP-SSL in deep non-linear convolutional neural networks. Variants that improve the similarity between gradient updates of local-SSL with those of global BP-SSL also show better performance on image datasets (CIFAR-10, STL-10, and Tiny ImageNet). The best local-SSL rule with the CLAPP loss function matches the performance of a comparable global BP-SSL with InfoNCE or CPC-like loss functions, and improves upon state-of-the-art for local SSL on these benchmarks.

연구 동기 및 목표

• 심층 네트워크에서 로컬-SSL과 글로벌 BP-SSL을 연결하는 이론적 기초를 제공한다.
• 로컬-SSL 업데이트가 BP-SSL 업데이트를 재현하는 조건을 식별한다.
• 비선형 CNN에서 BP-SSL에 근접하게 로컬-SSL의 실용적 변형을 개발한다.
• 표준 이미지 데이터셋에서 로컬-SSL 변형의 성능 향상을 입증한다.
• 공간적 구조와 직접 피드백이 BP-SSL과의 그래디언트 정렬에 어떤 영향을 미치는지 탐구한다.

제안 방법

• 로컬-SSL 규칙(CLAPP, Forward-forward, PhyLL, SCFF)을 계층별 손실이 포함된 공통 손실 프레임워크에서 formalize한다.
• 정사각형 가중치 행렬(orthonormal weight matrices)을 가진 심층 선형 네트워크에 대해 로컬-SSL과 글로벌 BP-SSL 간의 정확한 그래디언트 등가성을 보인다(정리 3.1).
• 계층 너비가 감소할 때 마지막 계층으로부터의 직접 피드백을 추가하면 BP-SSL과의 정렬이 개선됨(Corollary 3.2 및 정리 3.3).
• 공간적으로 구조화된 피드백이 BP 그래디언트 유사성을 향상시킨다는 것을 컨볼루션 네트워크에 대한 분석으로 확장(섹션 3.3 및 그림 4).
• 공간 의존성과 직접 피드백을 포함하는 CLAPP++ 변형을 제안하여 비선형 컨브넷(CNN)에서 BP-SSL과의 차이를 좁힌다.
• CIFAR-10, STL-10, Tiny ImageNet에서 CLAPP++ 변형이 BP-SSL 베이스라인에 비견되도록 실험적으로 평가한다.

실험 결과

연구 질문

• RQ1 특정 조건에서 심층 선형 네트워크에서 로컬-SSL 알고리즘이 글로벌 BP-SSL과 동일한 업데이트를 구현할 수 있는가?
• RQ2 정규 직교성의 완화 또는 계층 폭의 축소가 로컬-SSL과 BP-SSL 간의 그래디언트 유사성에 어떤 영향을 미치는가?
• RQ3 공간적으로 의존적인 피드백과 직접적인 상향 피드백 신호가 컨브넷에서 로컬-SSL 그래디언트 정렬을 향상시키는가?
• RQ4 이론 가이드가 제시하는 로컬-SSL 변형이 표준 이미지 데이터셋에서 BP-SSL의 성능에 근접하거나 이를 달성할 수 있는가?

주요 결과

Method	CIFAR10 정확도	STL-10 정확도	Tiny-ImageNet 정확도
BP-CLAPP++	80.49 ±0.20	80.36 ±0.26	37.55 ±0.61
BP-InfoNCE	80.69 ±0.84	81.97 ±1.23	36.78 ±0.73
Naive CLAPP DFA	-	52.30	-
Naive CLAPP Predictive Coding	-	36.75	-
CLAPP (Illing et al., 2021)	-	73.60	-
LPL (Halvagal & Zenke, 2023)	59.40	63.20	-
SCFF (Chen et al., 2025)	80.60	77.14	35.67
CLAPP++ (no 2D spatial dependence)	73.21	75.10	28.18
CLAPP++	80.51 ±0.27	78.66 ±0.16	36.63 ±0.32
CLAPP++DFB	80.65 ±0.18	79.38 ±0.17	36.70 ±0.24
CLAPP++both	81.18 ±0.18	79.62 ±0.28	37.78 ±0.67

• 정확한 등가성: 직교화된 W^l를 가진 심층 선형 네트워크에서 B^l이 로컬 최적점으로 최적화될 때 로컬-SSL 그래디언트는 BP-SSL 그래디언트와 같다(정리 3.1).
• 직접 피드백의 도움: 계층 폭이 축소될 때 직접 피드백(c^l = z'^L)을 포함한 로컬-SSL이 표준 로컬-SSL보다 BP-SSL과 더 잘 정렬된다(Corollary 3.2; 정리 3.3).
• 공간 구조의 도움: 컨브넷에서 2D 공간 의존적 B^l 도입은 공간적으로 독립적인 프로젝션에 비해 BP-SSL 그래디언트와의 정렬을 개선한다(그림 4).
• CLAPP++의 강력한 성능: 공간적으로 의존적인 CLAPP++, CLAPP++DFB, CLAPP++both가 CIFAR-10, STL-10, Tiny ImageNet에서 BP-SSL 성능에 도달하거나 근접하며, 종종 초기 로컬-SSL 방법을 능가한다(표 2).
• 로컬-SSL 최신 상태: CLAPP++ 변형이 새로운 로컬-SSL 벤치마크를 설정하여 SCFF, LPL, 그리고 초기 CLAPP 구성보다 세 데이터셋 전반에서 우수하다(표 2).
• 실용적 상한: 연구는 BP 근사치를 위한 최적의 로컬-SSL 그래디언트 Δ_circle를 상한으로 정의하며, 실험에서 CLAPP++가 이 상한에 근접한다는 점을 보인다(그림 3B 논의).