[論文レビュー] Online calibration scheme for training restricted Boltzmann machines with quantum annealing

Takeru Goto, Masayuki Ohzeki|arXiv (Cornell University)|Jul 19, 2023

Machine Learning and ELMComputer Science被引用数 3

ひとこと要約

本稿では、対照的分散（CD）アルゴリズムを用いて、同時に内部パラメータ（逆温度やバイアス固有係数など）を推定することで、D-Wave量子アニーリングマシンを用いた制限ボルツマンマシン（RBM）のトレーニングにおけるオンラインキャリブレーション方式を提案する。この手法は、サンプル品質を向上させ、古典的ギブスサンプリングと同等のKLダイバージェンス性能を達成し、標準的なCDトレーニングを上回る。

ABSTRACT

We propose a scheme to calibrate the internal parameters of a quantum annealer to obtain well-approximated samples for training a restricted Boltzmann machine (RBM). Empirically, samples from quantum annealers obey the Boltzmann distribution, making them suitable for RBM training. Quantum annealers utilize physical phenomena to generate a large number of samples in a short time. However, hardware imperfections make it challenging to obtain accurate samples. Existing research often estimates the inverse temperature for the compensation. Our scheme efficiently utilizes samples for RBM training also to estimate internal parameters. Furthermore, we consider additional parameters and demonstrate that they improve sample quality. We evaluate our approach by comparing the obtained samples with classical Gibbs sampling, which theoretically generates accurate samples. Our results indicate that our scheme demonstrates performance on par with Gibbs sampling. In addition, the training results with our estimation scheme outperform those of the contrastive divergence algorithm, a standard training algorithm for RBM.

研究の動機と目的

• 量子アニーリングマシンのハードウェア的不具合に起因する不正確なサンプルがRBMトレーニングに与える影響を是正すること。
• トレーニング中に内部パラメータをリアルタイムで推定するオンラインキャリブレーション方式を開発し、後処理や複数回のモデル再トレーニングを回避すること。
• 逆温度の補正にとどまらず、バイアス固有係数を含む複数のパラメータを推定することで、標準的な逆温度補正を上回るサンプル忠実度を向上させること。
• KLダイバージェンスの観点から、本手法の性能を古典的サンプリング（ギブス）と標準的なCDトレーニングと比較すること。

提案手法

• 本手法は、D-Wave量子アニーリングマシンからのサンプルをトレーニングデータとして用い、対照的分散（CD）アルゴリズムを用いて内部パラメータをリアルタイムで推定する。
• 有効逆温度（β_eff）および追加パラメータの推定を、実測分布とモデル分布のKLダイバージェンスの最小化として定式化する。
• 重み、可視バイアス、隠れバイアスの各タイプに対して1つまたは複数の逆温度パラメータを推定するか、各バイアスタイプごとに係数を用いることで柔軟性を向上させる。
• すべてのパラメータを、CDアルゴリズムに基づく同じ更新ルールで反復的に更新することで、同時にモデルトレーニングとキャリブレーションを実現する。
• 高コストな後処理や尤度最大化を回避することで、先行手法と比較して計算負荷を低減する。
• 本手法は3つのパラメータ設定（1つのβ、重みとバイアスタイプごとに3つのβ、1つのβに個々のバイアス係数）で評価された。

実験結果

リサーチクエスチョン

• RQ1 RBMトレーニング中に量子アニーリングマシンのパラメータをリアルタイムでキャリブレーションすることで、標準的なCDトレーニングと比較してサンプル品質が向上するか？
• RQ2 重みとバイアスごとに別々のβ（例えば、重み用とバイアス用）を推定することで、単一のβ推定よりも性能が向上するか？
• RQ3 異なる内部パラメータの収束行動がトレーニングダイナミクスおよび最終的なモデル性能に与える影響は何か？
• RQ4 提案手法は、トレーニング時間を短縮しつつ、古典的ギブスサンプリングと同等のKLダイバージェンスを達成できるか？

主な発見

• 本手法は、3パラメータ設定（重みとバイアスタイプごとに1つのβ）で最小KLダイバージェンス2.78を達成し、標準的なCDアルゴリズムを上回った。
• 1つのβと全バイアスの係数を用いる「1つで全バイアス」設定が最良の性能を示し、KLダイバージェンス2.78を達成した。これは、サンプル分布の正確性が向上したことを示している。
• 本手法の性能は、古典的ギブスサンプリングと同等であり、全設定でKLダイバージェンスが3.30未満であった。
• 複数の内部パラメータを用いたトレーニングでは、500エポック以降も継続的な改善が見られたが、1パラメータ設定ではβ_effが早期に収束し、停滞した。
• 逆温度β_effは500エポック以内に収束したが、β_hなどの他のパラメータは継続的に変化を示し、より多くのパラメータを含む場合、安定化に必要なサンプル数が増加することが示唆された。
• 後処理を排除し、トレーニングとキャリブレーションを同時に実行できるため、先行手法と比較してトレーニング時間を短縮した。