[論文レビュー] Node Perturbation Can Effectively Train Multi-Layer Neural Networks

Sander Dalm, Marcel van Gerven+1 more|arXiv (Cornell University)|Oct 2, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

本論文は、ノード摂動（NP）を方向微分とレイヤーごとの入力非相関化と組み合わせることで、生物学的に妥当な深層ニューラルネットワークの学習手法を提案する。NPを反復的方角微分更新に再定式化し、勾配の共分散を低減するための非相関化を適用することで、ノイズありや微分不能なシステムですら、バックプロパゲーションと競合する学習速度を達成する。

ABSTRACT

Backpropagation (BP) remains the dominant and most successful method for training parameters of deep neural network models. However, BP relies on two computationally distinct phases, does not provide a satisfactory explanation of biological learning, and can be challenging to apply for training of networks with discontinuities or noisy node dynamics. By comparison, node perturbation (NP), also known as activity-perturbed forward gradients, proposes learning by the injection of noise into network activations, and subsequent measurement of the induced loss change. NP relies on two forward (inference) passes, does not make use of network derivatives, and has been proposed as a model for learning in biological systems. However, standard NP is highly data inefficient and can be unstable due to its unguided noise-based search process. In this work, we develop a modern perspective on NP by relating it to the directional derivative and incorporating input decorrelation. We find that a closer alignment with directional derivatives together with input decorrelation at every layer theoretically and practically enhances performance of NP learning with large improvements in parameter convergence and much higher performance on the test data, approaching that of BP. Furthermore, our novel formulation allows for application to noisy systems in which the noise process itself is inaccessible, which is of particular interest for on-chip learning in neuromorphic systems.

研究の動機と目的

• 深層ニューラルネットワークの学習において、標準的なノード摂動（NP）の非効率性と不安定性を解消すること。
• 方向微分を用いた理論的裏付けのあるNPの定式化を提案し、学習の安定性と収束性を向上させること。
• クリーンなネットワーク通過を必要としないノイズに強い更新則「活性ベースノード摂動（DANP）」を導入すること。
• レイヤーごとの入力非相関化を用いてNPの性能を向上させ、更新の共分散を低減し、信用割り当てを改善すること。
• ノイズが本質的かつ測定不能なシステム（例：ニューロモルフィックハードウェアや生物的ニューロンネットワーク）においても有効な学習を可能にすること。

提案手法

• ノード摂動を反復的方角微分更新として再定式化し、より安定的かつ理論的裏付けのある学習則を提供すること。
• クリーンなネットワーク評価を必要としない活性ベースノード摂動（DANP）を提案し、ノイズありの順方向パスのみで重み更新を計算すること。
• レイヤーごとの活性を非相関化するメカニズムを適用し、入力特徴の相関を低減することでNP更新におけるバイアスを最小限に抑えること。
• 各レイヤーの活性にホワイトニング変換（例：ZCAまたはPCAベース）を適用し、入力を非相関化して学習効率を向上させること。
• 方向微分に基づく更新と非相関入力を組み合わせることで、収束速度を向上させ、重み更新の分散を低減すること。
• 全結合ネットワークにこの手法を実装し、CIFAR-10での性能を標準NPおよびバックプロパゲーションと比較して評価すること。

実験結果

リサーチクエスチョン

• RQ1 ノード摂動を方向微分を用いて再定式化することで、深層学習における安定性と収束性が向上するか？
• RQ2 活性ベースノード摂動（DANP）は、クリーンなネットワーク通過を必要とせずに有効な学習を可能にするか？
• RQ3 レイヤーごとの入力非相関化は、NP更新の共分散をどの程度低減し、学習速度を向上させるか？
• RQ4 NPベースの学習は、標準的なビジョンベンチマークでバックプロパゲーションと同等の性能を達成できるか？
• RQ5 本手法は、ニューロモルフィックハードウェアや生物的神経系のようなノイズが本質的かつ微分不能なシステムにおいて、どのようにスケーリングするか？

主な発見

• 方向微分と入力非相関化を組み合わせた本手法は、標準的なノード摂動よりも、桁違いに高速な学習収束を達成した。
• 活性ベースノード摂動（DANP）は、クリーンパスベースNPとほぼ同等の性能を示し、ノイズが多い環境ではクリーンなネットワーク通過がほとんど利益をもたらさないことを示唆している。
• レイヤーごとの非相関化は、NP更新の共分散を顕著に低減させ、より安定的で効率的な学習を可能にした。
• 3層の全結合ネットワークを用いたCIFAR-10での実験で、本手法はバックプロパゲーションと同等の訓練セット性能を達成した。
• ノイズが本質的かつ測定不能なシステム（例：精度に欠けるハードウェアや生物的神経系）においても、本手法は有効な学習を可能にした。
• 改善された学習速度にもかかわらず、NPで学習したモデルはわずかに低いテスト精度を示しており、非相関化に起因するデータホワイトニングが関係する可能性のある過学習効果が示唆された。