[論文レビュー] Quantum-assisted learning of graphical models with arbitrary pairwise connectivity

Marcello Benedetti, John Realpe-Gómez+2 more|arXiv (Cornell University)|Sep 8, 2016

Quantum Computing Algorithms and Architecture被引用数 11

ひとこと要約

本論文は、量子アニーリングマシンを用いて、任意のペアワイズ接続を持つ確率的グラフィカルモデルを訓練する量子支援手法を提案する。量子アニーリングマシンのハードウェア的制限（疎なキュービット接続性やノイジーなパラメータ）を克服する。有効温度を事前に知る必要がないこと、パラメータノイズを軽減することで、実データおよび合成データセット上で、すべてのノードが相互に接続されたモデルを、940キュービットまで使用して成功裏に訓練した。人間が描いた数字の生成にも成功した。

ABSTRACT

There is increasing interest in the potential advantages of using quantum computing technologies as sampling engines to speedup machine learning and probabilistic programming tasks. However, some pressing challenges in state-of-the-art quantum annealers have to be overcome before we can assess their actual performance. Most notably, the effective temperature at which samples are generated is instance-dependent and unknown, the interaction graph is sparse, the parameters are noisy, and the dynamic range of the parameters is finite. Of all these limitations, the sparse resulting from the local interaction between quantum bits in physical hardware implementations, is considered the most severe limitation to the quality of constructing powerful machine learning models. Here we show how to surpass this curse of limited connectivity bottleneck and illustrate our findings by training probabilistic generative models with arbitrary pairwise connectivity. Our model can be trained in quantum hardware without full knowledge of the effective parameters specifying the corresponding Boltzmann-like distribution. Therefore, inference of the effective temperature is avoided and the effect of noise in the parameters is mitigated. We illustrate our findings by successfully training hardware-embedded models with all-to-all on a real dataset of handwritten digits and two synthetic datasets. In each of these datasets we show the generative capabilities of the models learned with the assistance of the quantum annealer in experiments with up to 940 quantum bits. Additionally, we show a visual Turing test with handwritten digit data, where the machine generating the digits is a quantum processor. Such digits, with a remarkable similarity to those generated by humans, are extracted from the experiments with 940 quantum bits.

研究の動機と目的

• 量子アニーリングマシンにおけるキュービット接続性の制限が、強力な確率的モデルの訓練を妨えるという課題に対処すること。
• 有効温度を完全に把握しなくても、量子ハードウェア上で任意のペアワイズ接続を持つ生成モデルを訓練できることを実現すること。
• 現在の量子アニーリングデバイスにおけるパラメータノイズおよび有限ダイナミックレンジの影響を低減すること。
• 実際の量子ハードウェア上で、完全接続性を持つ複雑なモデルを、実用的でノイズに強いアプローチで訓練できるかを実証すること。
• 手書き数字データセットを用いた視覚的チューリングテストを通じて、量子支援で訓練されたモデルの生成品質を検証すること。

提案手法

• 本手法は、任意のペアワイズ相互作用を持つ無向グラフィカルモデルの訓練に、量子アニーリングマシンをサンプリングエンジンとして用いる。
• 有効温度の推定を必要としないように学習目的関数を定式化することで、量子サンプリングにおける主要な誤差源を回避する。
• 絶対的なパラメータ値ではなく、相対的なエネルギー差に依存することで、ノイジーなパrameterと有限ダイナミックレンジに対して耐性を持つ。
• 量子アニーリングハードウェアの制約に合わせた最大尤度推定フレームワークを用いてモデルを訓練する。
• すべてのノードが相互に接続された構造を実現するため、完全接続性を疎なハードウェアグラフに埋め込む埋め込み技術を用いる。
• 本手法は、実際の手書き数字データセットおよび2つの合成データセットで検証され、実験では最大940キュービットを用いた。

実験結果

リサーチクエスチョン

• RQ1 量子アニーリングマシンは、ハードウェア的制限がある中でも、任意のペアワイズ接続を持つ確率的グラフィカルモデルの訓練に使用可能か？
• RQ2 量子支援機械学習において、有効温度を推定する必要を回避できるか？
• RQ3 パラメータノイズおよび有限ダイナミックレンジはモデル訓練にどのような影響を及ぼし、実際にはこれらを軽減できるか？
• RQ4 量子生成サンプルは視覚的チューリングテストにおいて人間が生成したデータと区別できないか？
• RQ5 本手法を用いて、実ハードウェア上で成功裏に訓練可能な最大のモデルサイズ（キュービット数）はどの程度か？

主な発見

• 本手法は、最大940キュービットを用いて、実際の手書き数字データセット上で、完全接続性を持つ生成モデルを成功裏に訓練した。
• 量子アニーリングマシンの有効温度を推定する必要がなく、量子サンプリングにおける主要な誤差源を回避した。
• 絶対的パラメータ値に依存しない設計により、パラメータノイズおよび有限ダイナミックレンジの影響が最小限に抑えられ、モデル性能にほとんど影響を与えなかった。
• 量子生成された手書き数字は視覚的チューリングテストで人間が描いた数字と非常に類似しており、区別がつかないことが確認された。
• 本手法は実際の量子ハードウェア上でスケーラビリティと実用的妥当性を示し、完全接続性を有する量子支援学習分野で最先端の結果を達成した。
• 結果から、適切なアルゴリズム的設計を組み合わせることで、量子アニーリングマシンが複雑な機械学習タスクにおける効果的なサンプリングエンジンとして機能可能であることが確認された。