[論文レビュー] Physical Deep Learning with Biologically Plausible Training Method

M. Nakajima, Katsuma Inoue+4 more|arXiv (Cornell University)|Apr 1, 2022

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

本論文は、ランダム射影を用いた直接フィードバックアライメントを用いて、バックプロパゲーションを必要としない生物学的に妥当なトレーニング手法を、物理的ディープニューラルネットワークに適用する。この手法により、エンドツーエンドのトレーニングが可能となり、FPGAを搭載したベンチトップシステム上で高速化された計算が達成された。

ABSTRACT

The ever-growing demand for further advances in artificial intelligence motivated research on unconventional computation based on analog physical devices. While such computation devices mimic brain-inspired analog information processing, learning procedures still relies on methods optimized for digital processing such as backpropagation. Here, we present physical deep learning by extending a biologically plausible training algorithm called direct feedback alignment. As the proposed method is based on random projection with arbitrary nonlinear activation, we can train a physical neural network without knowledge about the physical system. In addition, we can emulate and accelerate the computation for this training on a simple and scalable physical system. We demonstrate the proof-of-concept using a hierarchically connected optoelectronic recurrent neural network called deep reservoir computer. By constructing an FPGA-assisted optoelectronic benchtop, we confirmed the potential for accelerated computation with competitive performance on benchmarks. Our results provide practical solutions for the training and acceleration of neuromorphic computation.

研究の動機と目的

• バックプロパゲーションを必要とせず、生物学的に妥当なトレーニング手法を物理ニューラルネットワークに開発すること。
• 物理系の内部ダイナミクスの詳細な知識がなくてもトレーニングが可能になるようにすること。
• ランダム射影と任意の非線形関数を用いて、スケーラブルかつ効率的なトレーニングを実現すること。
• 単純でスケーラブルな物理系を模倣することで、物理的ディープラーニングのトレーニングを高速化すること。
• 実世界の光エレクトロニクス再帰型ニューラルネットワークプラットフォーム上で、このアプローチを検証すること。

提案手法

• 本手法は、直接フィードバックアライメント（DFA）を物理ニューラルネットワークに拡張し、ランダム射影を用いて誤差信号を近似する。
• バックプロパゲーションを一切必要とせず、ランダムな重み行列と非線形活性化関数に依存するエンドツーエンドのトレーニングを可能にする。
• トレーニングプロセスが物理系の内部構造に依存しないため、多様なアナログデバイスに適用可能である。
• フレームワークにより、光エレクトロニクスリザボアコンピュータのようなスケーラブルな物理系でトレーニングプロセスをエミュレートできる。
• FPGAを支援する光エレクトロニクスベンチトップシステムを用いて、ハードウェアでの実装と検証を実施する。
• 本手法は階層的接続性をサポートし、システムの物理的ダイナミクスを計算に活用する。

実験結果

リサーチクエスチョン

• RQ1 直接フィードバックアライメントは、バックプロパゲーションを必要とせず、物理的ディープニューラルネットワークをトレーニングするために適応可能か？
• RQ2 未知のダイナミクスを有する物理系において、ランダム射影が効果的な誤差信号の近似を可能にするか？
• RQ3 このトレーニング手法は、実際の光エレクトロニクスハードウェアプラットフォームで実装され、高速化可能か？
• RQ4 提案手法は、物理的計算を用いて標準ベンチマークで競争力のある性能を達成できるか？
• RQ5 スケーラブルな物理系で、トレーニングプロセスを効率的にエミュレートできるか？

主な発見

• 提案手法は、バックプロパゲーションを必要とせず、生物学的に妥当な学習ルールを用いて物理的ディープニューラルネットワークを効果的にトレーニングした。
• FPGAを搭載したベンチトップシステム上の光エレクトロニクス再帰型ニューラルネットワークを用いて、ベンチマークタスクで競争力のある性能を達成した。
• トレーニングプロセスはスケーラブルであり、物理系の内部ダイナミクスの詳細な知識が不要である。
• ランダム射影により、誤差信号の近似が効果的に行われ、物理系における安定的かつ効率的な学習を可能にした。
• システムは高速な計算を示し、生物学的に妥当なトレーニングを用いた物理的ディープラーニングの実現可能性を確認した。
• 本手法により、単純でスケーラブルな物理プラットフォーム上で、トレーニングプロセスのエミュレーションとハードウェア加速が可能になった。