[論文レビュー] Noise-injected analog Ising machines enable ultrafast statistical sampling and machine learning

Fabian Böhm, Diego Alonso-Urquijo+2 more|arXiv (Cornell University)|Dec 21, 2021

Advanced Memory and Neural Computing参考文献 55被引用数 40

ひとこと要約

本論文は、アナログイジングマシンの熱的平衡に達できないという根本的欠陥を克服するため、ノイズ注入を普遍的手法として提案する。時間多重型光電子的イジングマシンに帯域幅広いノイズを注入することで、著者らはボルツマン分布の正確なサンプリングと、ソフトウェアベースの手法と同等の性能を示す非教師あり訓練による制限付きボルツマンマシンの訓練を実証した。サンプリングレートは最大でGSamples/sに達し、従来のアプローチと比べて数個のオーダーも速い。

ABSTRACT

Ising machines are a promising non-von-Neumann computational concept for neural network training and combinatorial optimization. However, while various neural networks can be implemented with Ising machines, their inability to perform fast statistical sampling makes them inefficient for training neural networks compared to digital computers. Here, we introduce a universal concept to achieve ultrafast statistical sampling with analog Ising machines by injecting noise. With an opto-electronic Ising machine, we experimentally demonstrate that this can be used for accurate sampling of Boltzmann distributions and for unsupervised training of neural networks, with equal accuracy as software-based training. Through simulations, we find that Ising machines can perform statistical sampling orders-of-magnitudes faster than software-based methods. This enables the use of Ising machines beyond combinatorial optimization and makes them into efficient tools for machine learning and other applications.

研究の動機と目的

• アナログイジングマシンが高速かつ正確なボルツマンサンプリングを実行できないという、機械学習分野への応用を妨げる根本的制限を解決すること。
• 複雑な温度制御を要せず、ハードウェアに依存しない普遍的な方法を用いて、アナログイジング系に熱的平衡を誘導すること。
• ノイズ注入型イジングマシンが、デジタルソフトウェアベースの訓練と同等の非教師あり訓練精度を達成できることを示すこと。
• 数値シミュレーションを用いて、アナログイジングマシンのサンプリング速度がソフトウェアベースの手法に比べてどれほど優れているかを定量化すること。
• 異なる種類の増幅・散逸系においてこの手法が有効であることを検証し、普遍性を証明すること。

提案手法

• 時間多重型光電子的イジングマシンに帯域幅広いガウス白色ノイズを注入し、制御可能な効果的温度での熱的平衡状態にシステムを誘導すること。
• フィeldプログラマブルゲートアレイ（FPGA）を用いたフィードバックループにより、結合係数とバイアスを動的に制御し、イジングハミルトニアンのリアルタイム再構成を可能にすること。
• 非線形光システムにおけるピッチフォーク分岐を介して、イジングスピンの2値状態を連続的なアナログ振幅にマッピングし、スピン状態は振幅の符号によって決定すること。
• サンプリング精度の評価基準としてメトロポリス＝ハスティングスアルゴリズムを用い、ノイズ注入型イジングマシンが生成するサンプルと比較すること。
• 多項式、クリッピング、シグモイド非線形性を有するさまざまな増幅・散逸系をシミュレーションし、ノイズ注入法の物理的実装の多様性における普遍性を検証すること。
• 非教師あり訓練の性能評価に、擬似尤度と予測精度を指標として用い、MNISTの0〜9の数字認識タスクに応用すること。

実験結果

リサーチクエスチョン

• RQ1 ノイズ注入は、通常は基底状態計算に限定されるアナログイジングマシンにおいて、正確なボルツマンサンプリングを誘導できるか？
• RQ2 注入ノイズの分散とイジング系の効果的温度との関係は何か？
• RQ3 ノイズ注入型イジングマシンは、実世界の機械学習タスクにおいて、ソフトウェアベースの手法と同等の非教師あり訓練精度を達成できるか？
• RQ4 ノイズ注入型イジングマシンのサンプリング速度は、ソフトウェアベースのサンプリング手法に比べてどの程度優れているか？
• RQ5 ノイズ注入法は、さまざまな種類の増幅・散逸的物理系に普遍的に適用可能か？

主な発見

• ノイズ注入型光電子的イジングマシンは、広い温度範囲にわたり、メトロポリス＝ハスティングスアルゴリズムと同等のボルツマンサンプリング精度を達成した。特に臨界相転移点付近でも同様の精度を示した。
• イジング系の効果的温度は、注入ノイズの分散に線形に比例し、サンプリング分布の精密な制御が可能となった。
• ノイズ注入型サンプリングを用いた制限付きボルツマンマシンの非教師あり訓練では、テスト予測精度が多項式系で93.8%、クリッピング系で95.3%、シグモイド系で94.4%を達成し、ソフトウェアベースの訓練と同等の性能を示した。
• 数値シミュレーションの結果、空間多重型アナログイジングマシンが市販部品を用いて最大でGSamples/sのサンプリングレートを達成可能であり、ソフトウェアベースの手法に比べて数個のオーダーも速いと予想された。
• ノイズ注入法は、多項式、クリッピング、シグモイド非線形性という3種類の異なる増幅・散逸系において成功裏に検証され、その普遍性が裏付けられた。
• この手法により、アナログイジングマシンは、組合せ最適化に限定されるのではなく、一般用途の機械学習および統計的サンプリングの実用的プラットフォームに進化できるようになった。