[論文レビュー] Blockwise Self-Supervised Learning at Scale

Shoaib Ahmed Siddiqui, David Krueger+2 more|arXiv (Cornell University)|Feb 3, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ResNet-50 を ImageNet で学習するためのブロック単位の自己教師あり学習手法を提案する。この手法は、各層ブロックに独立して Barlow Twins の損失関数を適用し、70.48% のトップ1精度を達成した。これは、エンドツーエンドの誤差逆伝播法による学習と比較してわずか 1.1% の差にとどまる。本手法ではブロックを同時に学習させ、特徴拡張プーリングを用い、ガウスノイズを注入することで性能を向上させた。この結果、局所的な学習ルールが大規模モデルにスケーリング可能であり、性能の低下を最小限に抑えられることを示した。

ABSTRACT

Current state-of-the-art deep networks are all powered by backpropagation. In this paper, we explore alternatives to full backpropagation in the form of blockwise learning rules, leveraging the latest developments in self-supervised learning. We show that a blockwise pretraining procedure consisting of training independently the 4 main blocks of layers of a ResNet-50 with Barlow Twins' loss function at each block performs almost as well as end-to-end backpropagation on ImageNet: a linear probe trained on top of our blockwise pretrained model obtains a top-1 classification accuracy of 70.48%, only 1.1% below the accuracy of an end-to-end pretrained network (71.57% accuracy). We perform extensive experiments to understand the impact of different components within our method and explore a variety of adaptations of self-supervised learning to the blockwise paradigm, building an exhaustive understanding of the critical avenues for scaling local learning rules to large networks, with implications ranging from hardware design to neuroscience.

研究の動機と目的

• ブロック単位の学習と局所的な学習ルールが、ImageNet のような大規模データセットにおいてエンドツーエンドの誤差逆伝播法と同等の性能を達成できるかどうかを調査すること。
• ブロック順序、プーリング戦略、ノイズ注入などのアーキテクチャ的選択がブロック単位の自己教師あり学習に与える影響を理解すること。
• 局所的な学習ルールを深層ネットワークにスケーリング可能かどうかを検討し、神経科学的知見およびエネルギー効率の良いハードウェア設計に与えるインパクトを明らかにすること。
• ブロック単位の学習フレームワークにおいて、同時学習と逐次学習のどちらがより優れた表現学習を実現するかを特定すること。
• ブロック単位の自己教師あり学習環境において、下位ブロックを教師ありの目的関数で事前学習すると、ネットワーク全体の性能が低下するかどうかを評価すること。

提案手法

• 本手法は、ResNet-50 の4つの主要ブロックそれぞれに、Barlow Twins の自己教師あり損失関数を独立して適用し、対照的表現学習を用いて各ブロックを別々に学習する。
• ブロックは逐次的ではなく同時に学習させ、フォワードパスを通じてブロック間の情報伝達を維持する。
• 出力特徴の次元を拡張するための拡張プーリング戦略を採用し、損失関数の適用前に特徴次元を拡大する。これは成功した学習に不可欠である。
• 各ブロックの活性化関数の前に、σ = 0.25 のガウスノイズを注入することで一般化性能を向上させ、約 0.5% の精度向上を達成した。
• プロジェクターネットワークを用いて、ブロック出力を潜在空間にマップし、Barlow Twins の損失を計算することで、不変性と情報の保存を保証する。
• ブロック間の誤差逆伝播を回避する一方で、各ブロック内およびその内部層（プロジェクターネットワークを含む）では誤差逆伝播を維持する。

実験結果

リサーチクエスチョン

• RQ1 ブロック単位の自己教師あり学習と局所的な損失関数を用いることで、ImageNet においてエンドツーエンドの誤差逆伝播法と同等の性能を達成できるか？
• RQ2 ブロック単位のフレームワークにおいて、同時学習が逐次学習を上回る性能を示すのか、その理由は何か？
• RQ3 異なるプーリング戦略および特徴次元の拡張戦略が、ブロック単位の自己教師あり学習の性能に与える影響は何か？
• RQ4 ブロック単位の自己教師あり学習環境において、下位ブロックを教師ありの目的関数で事前学習すると、ネットワーク全体の性能が劣化するか？
• RQ5 ノイズ注入や適応的オーグメンテーション戦略が、ブロック単位で学習されたモデルの表現品質を向上させられるか？

主な発見

• ブロック単位の自己教師あり学習手法は、ImageNet において線形プローブのトップ1精度を 70.48% に達成した。これは、エンドツーエンドの誤差逆伝播法で学習された ResNet-50 の 71.57% と比較してわずか 1.1% の差にとどまった。
• ブロックの同時学習は逐次学習を著しく上回り、1.72% の精度向上を示した。これは、フォワードパスにおける相互作用が学習に不可欠であることを示唆している。
• σ = 0.25 のガウスノイズを活性化関数の前に注入することで、性能が約 0.5% 向上したが、より高いノイズレベル（σ = 0.5）では結果が劣化した。
• プーリングによる出力特徴の次元拡張が、成功した学習に不可欠であった。単純な平均プーリングや最大プーリングよりも優れた性能を示した。
• 下位ブロックの教師あり事前学習は、ネットワーク全体の性能を低下させた。これは、初期層で過剰に不変性学習が進むと、高レベル特徴の学習が損なわれる可能性があることを示している。
• 最初の2つのブロックを1つのブロックに統合することで、最終的な精度が向上した。これは、ブロックの過剰な分割が性能を劣化させ、完全に局所的な学習にスケーリングするのを制限する可能性があることを示している。