[論文レビュー] Quantum-limited stochastic optical neural networks operating at a few quanta per activation

Shi-Yuan Ma, Tianyu Wang+3 more|arXiv (Cornell University)|Jul 28, 2023

Neural Networks and Reservoir Computing被引用数 6

ひとこと要約

この論文は、学習アルゴリズムの一部として確率的光検出プロセスを訓練することで、1回のMAC演算あたり0.008光子にまで低減した光子数で高精度な画像分類を達成できる光学的ニューラルネットワークの可能性を示している。量子ノイズによる信号対ノイズ比が1に近い状態でも、物理に配慮した確率的訓練によって単一光子検出をネットワーク動作の本質的要因としてモデル化することで、MNISTテストで98％の精度を達成した。

ABSTRACT

Energy efficiency in computation is ultimately limited by noise, with quantum limits setting the fundamental noise floor. Analog physical neural networks hold promise for improved energy efficiency compared to digital electronic neural networks. However, they are typically operated in a relatively high-power regime so that the signal-to-noise ratio (SNR) is large, and the noise can be treated as a perturbation. We study optical neural networks where all layers except the last are operated in the limit that each neuron can be activated by just a single photon, and as a result the noise on neuron activations is no longer merely perturbative. We show that by using a physics-based probabilistic model of the neuron activations in training, it is possible to perform accurate machine-learning inference in spite of the extremely high shot noise (SNR ~ 1). We experimentally demonstrated MNIST handwritten-digit classification with a test accuracy of 98% using an optical neural network with a hidden layer operating in the single-photon regime; the optical energy used to perform the classification corresponds to just 0.038 photons per multiply-accumulate (MAC) operation. Our physics-aware stochastic training approach might also prove useful with non-optical ultra-low-power hardware.

研究の動機と目的

• 単一光子検出による量子ノイズの影響を受ける状況で、信号対ノイズ比が1に近い超低消費電力領域で動作するアナログ光学的ニューラルネットワークが、高い精度を維持できるかどうかを調査すること。
• 量子ノイズを計算プロセスの一部として明示的にモデル化する訓練フレームワークを開発し、光検出の極めて高い確率的性質に起因する課題を克服すること。
• 各ニューロンの活性化に数量子のみを用いる光学系においても、ショットノイズが支配的であるがゆえに、決定論的な分類タスクを信頼性を持って実行できることを示すこと。
• ソフトウェアと物理に配慮した訓練を物理的ノイズモデルと共同設計することで、ノイズを摂動と見なすのではなく、エネルギー効率の高いAIハードウェアの新しいパラダイムを確立すること。

提案手法

• 著者らは、各ニューロンの活性化を単一光子検出のポisson統計に従う確率的プロセスとしてモデル化する確率的光検出ニューラルネットワーク（SPDNN）を開発した。
• バックプロパゲーションをノイズを介して可能にするために、確率的光検出プロセスの微分可能近似を用いてネットワークを訓練した。これにより、入力強度と検出確率の関数として期待出力をモデル化した。
• 訓練手順では、量子ノイズ制限を明示的に組み込み、検出あたりの平均光子数を前向き伝搬および逆向き伝搬の主要パラメータとして用いた。
• 隠れ層の活性化に単一光子検出器（SPD）を用いた物理的光学セットアップでネットワークを実装し、光学信号は古典的コherent状態に符号化された。
• 高ノイズ環境下でも収束を可能にするために、光検出の確率的性質を考慮した物理に配慮した損失関数を用いて、MNIST上でエンドツーエンドの訓練を実施した。
• 自由空間光学セットアップを用いた実験的検証では、単一光子領域で動作する1層の隠れ層を有するシステムが、極めて少ない光学エネルギーで高い精度を達成した。

Figure 1: Deterministic inference using noisy neural-network hardware. a , The concept of a stochastic physical neural network performing a classification task. Given a particular input image to classify, repetitions exhibits variation (represented by different traces of the same color), but the cla

実験結果

リサーチクエスチョン

• RQ1 単一光子検出に起因する量子ノイズ制限領域で動作する光学的ニューラルネットワークは、1回の活性化あたり数光子で高い分類精度を維持できるか？
• RQ2 光検出プロセスが根本的に確率的であり、信号対ノイズ比が約1である状況でも、ニューラルネットワークを効果的に訓練できるか？
• RQ3 訓練プロセスにおいて単一光子検出の確率的性質を明示的にモデル化することで、ハードウェアレベルのノイズが存在する中でも信頼性のある決定論的推論が可能になるか？
• RQ4 光学的ニューラルネットワークで高精度な推論を達成するために必要なMAC演算あたりの最小光学エネルギーは何か？

主な発見

• 著者らは、単一光子領域で動作する隠れ層を有する光学的ニューラルネットワークを用いて、MNIST手書き数字分類タスクで98％のテスト精度を達成した。
• 1回の乗算加算（MAC）演算あたり0.008光子を用い、これは1回のMACあたり0.003アトジュールの光学エネルギーに相当し、従来の最先端の低エネルギー実装と比較して40倍以上も光子数を削減した。
• 信号対ノイズ比が約1であるにもかかわらず、訓練時に適切にノイズをモデル化したことで、量子ノイズが信頼性の高い計算を妨げないことが示された。
• 物理に配慮した訓練手法により、単一光子検出の確率的挙動を的確に捉え、極めて高いノイズ環境下でも効果的なバックプロパゲーションと収束を実現した。
• 実験的セットアップにより、訓練プロセスが下位の物理的確率的性質を考慮していれば、量子ノイズ制限で動作する光学系でも決定論的推論が達成可能であることが確認された。

Figure 2: Single-photon-detection neural networks (SPDNNs): physics-aware stochastic training and inference . a , A single layer of an SPDNN, comprising an optical matrix-vector multiplier (optical MVM, in grey) and single-photon detectors (SPDs; in red), which perform stochastic nonlinear activatio