[論文レビュー] Quantum-inspired annealers as Boltzmann generators for machine learning and statistical physics

Alexander E. Ulanov, Egor Tiunov+1 more|arXiv (Cornell University)|Dec 18, 2019

Quantum Computing Algorithms and Architecture参考文献 38被引用数 4

ひとこと要約

本稿では、複雑で高次元のイジング分布からのサンプリングに向けた高品質なボルツマン生成器として、量子にインspiredされたデジタルアニーリング機・SimCIMを導入する。SimCIMを用いたサンプルを用いてMNISTの数字に対する完全可視ボルツマンマシンの学習に成功し、分類精度86.9%を達成するとともに、不変分母関数の有効な推定が可能となり、平均場法を上回り、量子アニーリング機やディープラーニングモデルの即時代替として利用可能であることを示した。

ABSTRACT

Quantum simulators and processors are rapidly improving nowadays, but they are still not able to solve complex and multidimensional tasks of practical value. However, certain numerical algorithms inspired by the physics of real quantum devices prove to be efficient in application to specific problems, related, for example, to combinatorial optimization. Here we implement a numerical annealer based on simulating the coherent Ising machine as a tool to sample from a high-dimensional Boltzmann probability distribution with the energy functional defined by the classical Ising Hamiltonian. Samples provided by such a generator are then utilized for the partition function estimation of this distribution and for the training of a general Boltzmann machine. Our study opens up a door to practical application of numerical quantum-inspired annealers.

研究の動機と目的

• 高次元ボルツマン分布からの不偏サンプルを生成するための実用的で効率的かつノイズ耐性のある手法の開発。
• これらのサンプルを用いて一般ボルツマンマシンの学習および統計物理学における不変分母関数の推定を実施。
• パrameterノイズ、制限されたアーキテクチャ、デ coherent化などの既存の量子アニーリング機の限界を、コherentイジングマシンの古典的シミュレーションによって克服。
• 量子にインスパイアされた数値的アニーリングアルゴリズムが、即時使用可能なボルツマン生成器として機能でき、平均場近似を上回り、機械学習および物理学的応用に直接利用可能であることを実証。

提案手法

• 本研究では、コherentイジングマシンの数値的シミュレーションであるSimCIMアルゴリズムを用い、古典的イジングハミルトニアンで定義されるボルツマン分布からのワンショットサンプルを生成する。
• SimCIMのサンプルを用いて、直接和算およびアンナールドインポートランスサンプリング（AIS）により分母関数を推定し、低次元の場合の正確な列挙と比較する。
• 完全可視かつ完全結合ボルツマンマシンを、ログリクリーニング目的関数における確率的勾配上昇法により学習し、勾配はSimCIMが生成したサンプルから計算する。
• 収束性と性能の向上を図るため、学習中に有効温度の調整を適用し、ログリクリーニングと分類精度の両方を向上させる。
• SimCIMが任意の実数値の結合およびバイアス行列を扱える能力を活用し、複雑なエネルギー・ランドスケープの正確なモデリングを可能にする。
• 深層ニューラルネットワークのような反復的学習を回避し、D-Waveのような物理的量子アニーリング機のハードウェア的制限も回避する。

実験結果

リサーチクエスチョン

• RQ1 SimCIMのような量子にインスパイアされた数値的アニーリング機は、高次元ボルツマン分布からの高品質で不偏なサンプルを生成できるか？
• RQ2 これらのサンプルは、MNISTのようなベンチマークデータセットにおいて、一般ボルツマンマシンの分類タスクの学習に効果的に利用できるか？
• RQ3 SimCIMが生成したサンプルを用いた分母関数の推定は、正確な値または平均場法と比較してどの程度正確か？
• RQ4 SimCIMは、スピン系における強い相関を捉える点で、従来の平均場近似を上回るか？
• RQ5 SimCIMは、物理的量子アニーリング機のハードウェア的制限を回避できる即時使用可能なボルツマン生成器として機能できるか？

主な発見

• SimCIMを用いたボルツマン生成器は、MNISTデータセット上で完全可視ボルツマンマシンを正常に学習し、分類精度86.9%を達成した。
• SimCIMのサンプルから推定した分母関数値は、低次元設定において全列挙で計算された正確な値と強く一致した。
• 学習中に有効温度の調整を適用したことで、ボルツマンマシンの平均ログリクリーニングと分類精度の両方が顕著に向上した。
• SimCIMが生成したサンプルを用いて、手書き数字の意味的な画像再構成が可能となり、学習エポックが進むにつれて視覚的品質が向上した。
• SimCIMは、長距離スピン相関を捉える点で平均場近似を上回り、不変分母関数のような不変統計量のより正確な推定を可能にした。
• SimCIMは、物理的量子アニーリング機の代替として実用的でノイズ耐性があり、ハードウェアに依存しない代替手段を提供し、反復的学習を必要とせず、機械学習および統計物理学への直接応用を可能にした。