[論文レビュー] Local plasticity rules can learn deep representations using self-supervised contrastive predictions

Bernd Illing, Jean Ventura+2 more|arXiv (Cornell University)|Oct 16, 2020

Neural dynamics and brain function被引用数 26

ひとこと要約

本論文は、バックプロパゲーションを用いずに階層的表現を学習できる生物学的に妥当な学習ルールであるCLAPP（対照的・局所的・予測的可塑性）を提案する。saccadeに類似した注視移動を用いた自己教師付き対照的予測と、グローバルな驚き信号によって調整される局所的ヘブシアン更新を活用することで、CLAPPはバックプロパゲーションなしでSTL-10で77.6％の精度を達成し、神経科学的原則に整合する局所的・自己教師付きの学習ルールを維持することができる。

ABSTRACT

Learning in the brain is poorly understood and learning rules that respect biological constraints, yet yield deep hierarchical representations, are still unknown. Here, we propose a learning rule that takes inspiration from neuroscience and recent advances in self-supervised deep learning. Learning minimizes a simple layer-specific loss function and does not need to back-propagate error signals within or between layers. Instead, weight updates follow a local, Hebbian, learning rule that only depends on pre- and post-synaptic neuronal activity, predictive dendritic input and widely broadcasted modulation factors which are identical for large groups of neurons. The learning rule applies contrastive predictive learning to a causal, biological setting using saccades (i.e. rapid shifts in gaze direction). We find that networks trained with this self-supervised and local rule build deep hierarchical representations of images, speech and video.

研究の動機と目的

• 生物学的に妥当な局所的可塑性ルールと、脳に見られる深層階層的表現との間のギャップを埋めること。
• バックプロパゲーションを回避しつつ、深層ネットワークで有用な階層的特徴を構築できる学習ルールを開発すること。
• 自然入力の時間的構造（特にsaccadeに類似した注視移動）を局所的学習メカニズムに統合すること。
• 純粋に局所的・自己教師付きのルールが、バックプロパゲーションベースのモデルと同等の性能を達成できることを示すこと。

提案手法

• モデルは、前後saccade入力間の対照的予測に基づく層固有の損失関数を用いる。
• 重み更新は、事前にとその後のシナプス活動、予測的 dendritic 入力、およびグローバルに放送される調整信号にのみ依存する局所的ヘブシアンルールに従う。
• 調整信号はsaccade検出から導出され、グローバルな「驚き」または予測誤差信号をモデル化する。
• バックプロパゲーションを用いずに、現在状態と将来状態を比較する予測的対照的目的関数に依存して学習ルールを実装する。
• MaxPooling層は側方抑制としてモデル化され、近似を用いず勾配適合性を保持する。
• 本手法は画像（STL-10）、音声、動画データでテストされ、線形プローブによる評価で性能が評価された。

実験結果

リサーチクエスチョン

• RQ1 純粋に局所的・自己教師付きの学習ルールが、バックプロパゲーションなしで深層階層的表現を構築できるか？
• RQ2 saccadeに類似したイベントを用いた自己教師付き対照的予測が、生物学的に妥当なフレームワーク内で効果的な表現学習を可能にするか？
• RQ3 saccade検出から導出されるグローバルな調整信号が、局所的可塑性ルールの学習を向上させるか？
• RQ4 このようなルールが、標準ベンチマークでバックプロパゲーションベースのモデルと同等の性能を達成できるか？
• RQ5 得られた表現階層は、層ごとに意味的で解釈可能か？

主な発見

• CLAPPは2モジュールアーキテクチャを用いてSTL-10で77.6％の線形分類精度を達成し、エンドツーエンドのバックプロパゲーションの80.3％に近い性能を示した。
• 深さが増すにつれて性能が向上：1モジュール（レイヤーヹワイズ）で74.0％、2モジュールで77.6％、エンドツーエンド学習で80.3％。
• CLAPPで学習されたネットワークの高層層では、物体の一部のような複雑な特徴が抽出される一方、低層層ではエッジやグレーティングのような単純なパターンが検出された。
• ランダムエンコーダーベースラインでは階層的特徴の進行が認められず、アーキテクチャそのものが深層表現を生み出すわけではないことが確認された。
• 予測対象層よりも上の層からのコンテキスト表現を用いても、モデルは72.4％の精度を維持した。
• 好ましいパッチの可視化とt-SNE埋め込みから、CLAPPで学習された特徴は、ランダム重みとは異なり意味的かつ解釈可能な階層を形成していることが確認された。