[論文レビュー] Can Local Learning Match Self-Supervised Backpropagation?

Wu Zihan, Delrocq, Ariane+2 more|arXiv (Cornell University)|Jan 29, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

Paperは、特定の局所的自己监督学習（local-SSL）ルールが直交性の下で深い線形ネットワークにおいてグローバルBP-SSL更新と厳密に一致することを示し、CNNにおける標準データセット上でBP-SSLの性能を近似または一致させることがある空間的に構造化されたフィードバック強化変種（CLAPP++）を開発する。

ABSTRACT

While end-to-end self-supervised learning with backpropagation (global BP-SSL) has become central for training modern AI systems, theories of local self-supervised learning (local-SSL) have struggled to build functional representations in deep neural networks. To establish a link between global and local rules, we first develop a theory for deep linear networks: we identify conditions for local-SSL algorithms (like Forward-forward or CLAPP) to implement exactly the same weight update as a global BP-SSL. Starting from the theoretical insights, we then develop novel variants of local-SSL algorithms to approximate global BP-SSL in deep non-linear convolutional neural networks. Variants that improve the similarity between gradient updates of local-SSL with those of global BP-SSL also show better performance on image datasets (CIFAR-10, STL-10, and Tiny ImageNet). The best local-SSL rule with the CLAPP loss function matches the performance of a comparable global BP-SSL with InfoNCE or CPC-like loss functions, and improves upon state-of-the-art for local SSL on these benchmarks.

研究の動機と目的

• 深層ネットワークにおける局所SSLとグローバルBP-SSLを結ぶ理論的基盤を提供する。
• 局所SSL更新がBP-SSL更新を再現する条件を同定する。
• 非線形CNNでBP-SSLに密接に近い実用的な局所SSL変種を開発する。
• 標準画像データセットで局所SSL変種の性能向上を示す。
• 空間的構造と直接フィードバックがBP-SSLに対する勾配整合性に与える影響を探る。

提案手法

• 局所SSLルール（CLAPP、Forward-forward、PhyLL、SCFF）を層別損失を含む共通損失フレームワークで formalize する。
• 正規直交重み行列を持つ深い線形ネットワークにおける局所SSLとグローバルBP-SSLの勾配等価性を証明する（定理3.1）。
• 層の幅が縮小すると、最後の層からの直接フィードバックを加えるとBP-SSLへの整合性が高まることを示す（系3.2の系3.3の定理）。
• 畳み込みネットワークへの分析を拡張し、空間的に構造化されたフィードバックがBP勾配類似性を改善することを示す（セクション3.3と図4）。
• CNNにおける非線形ネットワークにおいてBP-SSLに近づくよう空間依存性と直接フィードバックを組み込んだCLAPP++変種を提案する。
• CIFAR-10、STL-10、Tiny ImageNetでCLAPP++変種がBP-SSLベースラインと並ぶ/近似することを実証的に評価する。

実験結果

リサーチクエスチョン

• RQ1 深層線形ネットワークで特定の条件下において局所SSLアルゴリズムがグローバルBP-SSLと同一更新を実装できるか。
• RQ2 正規性の緩和や層幅の縮小を導入した場合、局所SSLとBP-SSLの勾配類似性はどうなるか。
• RQ3 空間的に依存するフィードバックと直接上向きシグナルは convnet における局所SSLの勾配整合性を改善するか。
• RQ4 理論に基づく局所SSL変種は標準画像データセットでBP-SSLの性能に近づくか、あるいは一致できるか。

主な発見

Method	CIFAR10 accuracy	STL-10 accuracy	Tiny-ImageNet accuracy
BP-CLAPP++	80.49 ±0.20	80.36 ±0.26	37.55 ±0.61
BP-InfoNCE	80.69 ±0.84	81.97 ±1.23	36.78 ±0.73
Naive CLAPP DFA	-	52.30	-
Naive CLAPP Predictive Coding	-	36.75	-
CLAPP (Illing et al., 2021)	-	73.60	-
LPL (Halvagal & Zenke, 2023)	59.40	63.20	-
SCFF (Chen et al., 2025)	80.60	77.14	35.67
CLAPP++ (no 2D spatial dependence)	73.21	75.10	28.18
CLAPP++	80.51 ±0.27	78.66 ±0.16	36.63 ±0.32
CLAPP++DFB	80.65 ±0.18	79.38 ±0.17	36.70 ±0.24
CLAPP++both	81.18 ±0.18	79.62 ±0.28	37.78 ±0.67

• 厳密な同等性：正交なW^lを持つ深い線形ネットワークにおいて、B^lが局所最適解へ最適化されると局所-SSLの勾配はBP-SSLの勾配と一致する（定理3.1）。
• 直接フィードバックは有効：層幅が縮小すると、直接フィードバックを用いる局所SSL（c^l = z'^L）は標準の局所SSLよりBP-SSLとの整合性が高い（系3.2の Corollary；定理3.3）。
• 空間的構造は有効：畳み込みネットワークにおいて2Dの空間的依存性を持つB^lを導入すると、空間的に独立な射影と比較してBP勾配との整合性が向上する（図4）。
• CLAPP++は高性能：空間的に依存するCLAPP++、CLAPP++DFB、CLAPP++bothはCIFAR-10、STL-10、Tiny ImageNetでBP-SSLと同等またはほぼ同等の性能を達成し、しばしば従来の局所SSL手法を凌駕する（Table 2）。
• 局所SSL最先端：CLAPP++変種が新たな局所SSLのベンチマークを設定し、SCFF、LPL、および初期のCLAPP構成を超える（Table 2）。
• 実践的な上限：研究はBP近似の上限として局所SSL勾配Δ_circleを定義し、実験でCLAPP++がこの上限に近づくことを示す（Figure 3B の議論）。