[論文レビュー] Energy-based learning algorithms for analog computing: a comparative study

Benjamin Scellier, Maxence Ernoult+2 more|arXiv (Cornell University)|Dec 22, 2023

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本論文は、5つの視覚タスクにおける深層畳み込みホフスタッドターネット（DCHNs）上で、対照的学習（CL）、均衡伝搬（EP）、および異なる摂動符号を有する結合学習（CpL）を含む7つのエネルギーベース学習（EBL）アルゴリズムの包括的な比較を提示する。負の摂動が正の摂動を上回ること、および中心化されたEPの変種（C-EP）が、タスクの難易度が上昇するにつれて最も優れた性能を示すことが判明した。また、非同期エネルギー最小化と16ビット精度を用いることで、13.5倍の高速化が達成された。

ABSTRACT

Energy-based learning algorithms have recently gained a surge of interest due to their compatibility with analog (post-digital) hardware. Existing algorithms include contrastive learning (CL), equilibrium propagation (EP) and coupled learning (CpL), all consisting in contrasting two states, and differing in the type of perturbation used to obtain the second state from the first one. However, these algorithms have never been explicitly compared on equal footing with same models and datasets, making it difficult to assess their scalability and decide which one to select in practice. In this work, we carry out a comparison of seven learning algorithms, namely CL and different variants of EP and CpL depending on the signs of the perturbations. Specifically, using these learning algorithms, we train deep convolutional Hopfield networks (DCHNs) on five vision tasks (MNIST, F-MNIST, SVHN, CIFAR-10 and CIFAR-100). We find that, while all algorithms yield comparable performance on MNIST, important differences in performance arise as the difficulty of the task increases. Our key findings reveal that negative perturbations are better than positive ones, and highlight the centered variant of EP (which uses two perturbations of opposite sign) as the best-performing algorithm. We also endorse these findings with theoretical arguments. Additionally, we establish new SOTA results with DCHNs on all five datasets, both in performance and speed. In particular, our DCHN simulations are 13.5 times faster with respect to Laborieux et al. (2021), which we achieve thanks to the use of a novel energy minimisation algorithm based on asynchronous updates, combined with reduced precision (16 bits).

研究の動機と目的

• 同一のモデルとデータセット上で、CL、EPの変種（P-、N-、C-）、およびCpLの変種（P-、N-、C-）の7つのEBLアルゴリズムを直接的かつ公平に比較すること。
• MNIST、F-MNIST、SVHN、CIFAR-10、CIFAR-100におけるタスク難易度の上昇に伴うアルゴリズム性能の変化を調査すること。
• アナログおよびエネルギー効率の高いAIハードウェア向けに、性能、安定性、収束性を評価することで、最も効果的なEBLアルゴリズムを同定すること。
• 新規の非同期エネルギー最小化アルゴリズムと低精度（16ビット）計算を用いて、EBL学習を顕著に高速化すること。
• すべての5つのベンチマークデータセットにおいて、DCHNsの正確性と速度の両面で、新たなSOTA結果を確立すること。

提案手法

• 自由状態（アンクランプド）と摂動状態（クランプドまたはバイアス付き）のエネルギー差に基づいて重み更新が導かれるように、摂動の符号と種別が異なる7つのEBLアルゴリズム（CL、P-EP、N-EP、C-EP、P-CpL、N-CpL、C-CpL）を用いて、深層畳み込みホフスタッドターネット（DCHNs）を学習した。
• エネルギー差に基づいて重みを更新するため、自由状態と摂動状態の間でエネルギーを対比するための摂動を適用した。
• 非同期で、ランダムな順序でニューロンを更新する新しい非同期エネルギー最小化アルゴリズムを実装し、収束を加速した。
• 学習速度の向上を図るため、モデルの精度を犠牲にせずに16ビット浮動小数点に精度を低下させた。
• すべてのアルゴリズムとデータセットで同一のモデルアーキテクチャとハイパーパrameterを用いて、公平な比較を確保した。
• Nvidia A100 GPU上でシミュレーションを実施し、全5つのデータセットを網羅的に評価するため、最大6日間の学習を実施した。

実験結果

リサーチクエスチョン

• RQ1 異なる摂動符号を有するEBLアルゴリズム（CL、EP、CpL）は、複雑度が増す視覚タスクにおいて、どのように性能を発揮するか？
• RQ2 負の摂動（N-EP、N-CpL）は、正の摂動（P-EP、P-CpL）や中心化摂動よりも優れた一般化性能を示すか？
• RQ3 EPの中心化変種（C-EP）は、多様なデータセットにおいて、正確性と収束安定性の面で他のEBLアルゴリズムを上回るか？
• RQ4 非同期エネルギー最小化と16ビット精度は、性能を維持または向上させつつ、学習時間を顕著に短縮できるか？
• RQ5 提案された学習最適化により、DCHNsは標準的な視覚ベンチマークで正確性と速度の両面で新たなSOTAを達成できるか？

主な発見

• MNISTでは、すべてのEBLアルゴリズムが同等の性能を示し、C-EPとN-EPが最も低いテスト誤差（0.44%および0.42%）を記録した。
• タスク難易度が上昇する（例：CIFAR-100）と、性能差が顕著に現れる：C-EPは37.0%のテスト誤差を達成し、CL（71.4%）やP-EP（89.4%）を大きく上回った。
• 負の摂動（N-EP、N-CpL）は、正の摂動（P-EP、P-CpL）を一貫して上回り、SVHNではN-EPが9.64%のCLと比較して3.51%のテスト誤差を達成した。
• 中心化EPの変種（C-EP）は、すべてのデータセットで最良の性能を示し、5つのベンチマークすべてでSOTA結果を達成した。
• 提案された非同期エネルギー最小化と16ビット精度により、先行研究（Laborieux et al., 2021）と比較して、学習時間を13.5倍短縮できた。
• SVHNでは、重み初期化を改善した結果、C-EPは3.58%のテスト誤差を達成し、RBP（3.91%）やTBP（3.66%）を上回り、複雑なデータに対して高いロバスト性を示した。