[論文レビュー] Estimation of effective temperatures in quantum annealers for sampling applications: A case study towards deep learning

Marcello Benedetti, John Realpe-Gómez+2 more|arXiv (Cornell University)|Oct 26, 2015

Quantum Computing Algorithms and Architecture被引用数 1

ひとこと要約

本稿では、深層学習における制限ボルツマンマシン（RBMs）の学習に不可欠な正確なボルツマンサンプリングを可能にするために、量子アニーリング機における有効温度推定アルゴリズムを提案する。インスタンス依存の有効温度を考慮することで、100ステップの対照的分散（CD-100）に匹敵する性能を達成し、CD-1を著しく上回り、最先端のサンプリング効率に並ぶ。

ABSTRACT

An increase in the efficiency of sampling from Boltzmann distributions would have a significant impact on deep learning and other machine-learning applications. Recently, quantum annealers have been proposed as a potential candidate to speed up this task, but several limitations still bar these state-of-the-art technologies from being used effectively. One of the main limitations is that, while the device may indeed sample from a Boltzmann-like distribution, quantum dynamical arguments suggest it will do so with an {\it instance-dependent} effective temperature, different from its physical temperature. Unless this unknown temperature can be unveiled, it might not be possible to effectively use a quantum annealer for Boltzmann sampling. In this work, we propose a strategy to overcome this challenge with a simple effective-temperature estimation algorithm. We provide a systematic study assessing the impact of the effective temperatures in the learning of a special class of a restricted Boltzmann machine embedded on quantum hardware, which can serve as a building block for deep-learning architectures. We also provide a comparison to $k$-step contrastive divergence (CD-$k$) with $k$ up to 100. Although assuming a suitable fixed effective temperature also allows us to outperform one step contrastive divergence (CD-1), only when using an instance-dependent effective temperature do we find a performance close to that of CD-100 for the case studied here.

研究の動機と目的

• 量子アニーリング機におけるインスタンス依存の有効温度が、機械学習の信頼性のあるボルツマンサンプリングを妨げるという課題に対処すること。
• 量子アニーリングにおける各問題インスタンスに特化した有効温度を推定する実用的なアルゴリズムを開発すること。
• 推定された有効温度が、深層学習応用における制限ボルツマンマシン（RBMs）の学習に与える影響を評価すること。
• インスタンス依存の有効温度を用いた量子アニーリング機のサンプリング性能と、古典的CD-k法（特にCD-1およびCD-100）との比較を行うこと。
• 有効温度が適切に推定された場合、量子アニーリング機が高kのCD法（例：CD-100）と同等のサンプリング品質を達成できるかどうかを同定すること。

提案手法

• 観測されたサンプリング統計に基づき、各問題インスタンスにおける量子アニーリング機の有効温度を推定するシンプルなアルゴリズムを提案する。
• 量子アニーリング機から得られたサンプルの観測分布を用いて、ボルツマン分布と最も一致する有効温度を推定する。
• 推定された有効温度を用いて、量子ハードウェア上で制限ボルツマンマシン（RBM）を学習させ、ボルツマンサンプリングを可能にする。
• 推定された有効温度を用いた量子アニーリングベースのRBM学習の性能を、kが100に達するまでの古典的CD-k法と比較する。
• 推定された有効温度がターゲットのボルツマン分布をどの程度正確に再現できるかを評価する統計的検証を実施する。
• 有効温度推定の影響がモデル収束性およびサンプリング精度に与える影響を体系的に評価する。

実験結果

リサーチクエスチョン

• RQ1 有効温度推定は、機械学習タスクにおける量子アニーリング機のボルツマンサンプリングの忠実性を向上させることができるか？
• RQ2 インスタンス依存の有効温度を用いた場合、量子アニーリング機ベースのRBM学習の性能は、古典的CD-k法と比べてどの程度か？
• RQ3 有効温度が適切に推定された場合、量子アニーリング機はCD-100のような高kのCD法の性能にどの程度まで近づけるか？
• RQ4 固定有効温度とインスタンス依存の有効温度を用いた場合、RBM学習の品質にどのような影響があるか？
• RQ5 有効温度をインスタンスごとにキャリブレーションした場合、量子アニーリング機はCD-100と同等のサンプリング効率を達成できるか？

主な発見

• 提案された有効温度推定アルゴリズムにより、量子アニーリング機は、固定温度アプローチよりもターゲット分布に近いボルツマン様分布からのサンプリングを高精度で実現できる。
• インスタンス依存の有効温度を用いることで、量子アニーリング機は、本研究におけるゴールドスタンダードである古典的CD-100と同等のRBM学習性能を達成した。
• 固定有効温度を用いてもCD-1を上回るが、CD-100の性能には及ばないため、インスタンス固有のキャリブレーションの重要性が示された。
• 本手法は、有効温度が適切に推定された場合、量子アニーリング機がボルツマンサンプリングのための実用的加速器として機能できることを示している。
• 本研究は、量子ダイナミクスの影響により有効温度がインスタンス依存となることが確認され、学習タスクにおける量子アニーリング機の潜在的性能を引き出すにはこれを考慮する必要があることを裏付けた。
• 結果から、有効温度推定は、量子アニーリング機を深層学習パイプラインに統合するための重要な促進要因であることが示唆された。