[論文レビュー] Reinforcement Learning Using Quantum Boltzmann Machines

Daniel J. Crawford, Anna Levit+3 more|arXiv (Cornell University)|Dec 17, 2016

Stochastic Gradient Optimization Techniques被引用数 16

ひとこと要約

本稿では、シミュレーテッド量子アニーリング（SQA）を用いて訓練される量子ボルツマンマシン（QBM）を用いた強化学習フレームワークを提案する。深層ボルツマンマシン（DBM）アーキテクチャを用いて状態-行動の依存関係をモデル化し、トランスバース場を有するQBM-RLが、特に複雑な迷路環境において、古典的RBMsおよびDBMsベースの手法よりも最適方策の学習で優れた性能を示す。これは、高次元状態空間におけるより優れたサンプリング効率と一般化性能のおかげである。

ABSTRACT

We investigate whether quantum annealers with select chip layouts can outperform classical computers in reinforcement learning tasks. We associate a transverse field Ising spin Hamiltonian with a layout of qubits similar to that of a deep Boltzmann machine (DBM) and use simulated quantum annealing (SQA) to numerically simulate quantum sampling from this system. We design a reinforcement learning algorithm in which the set of visible nodes representing the states and actions of an optimal policy are the first and last layers of the deep network. In absence of a transverse field, our simulations show that DBMs are trained more effectively than restricted Boltzmann machines (RBM) with the same number of nodes. We then develop a framework for training the network as a quantum Boltzmann machine (QBM) in the presence of a significant transverse field for reinforcement learning. This method also outperforms the reinforcement learning method that uses RBMs.

研究の動機と目的

• 特定のキュービットレイアウトを有する量子アニーリング装置が、強化学習タスクにおいて古典的システムを上回る可能性があるかどうかを調査すること。
• 量子ボルツマンマシンにインspiredされたディープネットワーク構造を用いた強化学習アルゴリズムを設計すること。
• シミュレーテッド量子アニーリング下での、マコフ決定過程における最適方策の学習におけるDBMおよびQBMの性能を評価すること。
• 迷路の複雑さが増すに従って、QBM-RL、DBM-RL、RBM-RLの学習効率および忠実度を比較すること。
• 改善されたサンプリングと表現学習を通じて、強化学習における量子優位性の可能性を評価すること。

提案手法

• 著者らは、深層ボルツマンマシン（DBM）に類似したキュービットレイアウトを持つトランスバース場イジングハミルトニアンに強化学習問題をマッピングする。
• 進化中のハミルトニアンの即時の量子分布からのサンプリングに、シミュレーテッド量子アニーリング（SQA）を用いる。
• DBMの可視層は状態と行動を表し、隠れ層は潜在的な状態-行動相関をモデル化する。
• RBM/DBM/QBMのパラメータに対する勾配降下法を用いて、収縮写像作用素の連続的適用間の距離を最小化することで方策を学習する。
• 訓練は、SQAサンプルから導かれるノード活性の期待値を用い、量子アニーリングダイナミクスを模倣するために横磁場強度を調整する。
• 本手法は、古典的RBMベースの学習と比較し、DBMおよびQBMベースのアプローチを用いる。QBMには、最終段階での顕著な横磁場（Γf = 2.00）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッド量子アニーリングで訓練される量子ボルツマンマシンは、強化学習タスクにおいて、古典的制限付きおよび深層ボルツマンマシンを上回ることができるか？
• RQ2 ハミルトニアンに横磁場を含めることで、複雑な環境における方策学習の忠実度および収束速度が向上するか？
• RQ3 迷路サイズやタスクの複雑さが増すに従って、DBMおよびQBMベースの強化学習の性能はどのように変化するか？
• RQ4 DBMがRBMと比較して高次元の依存関係をより良くモデル化することで、方策学習にどの程度の改善がもたらされるか？
• RQ5 深層生成モデルの強化学習訓練において、SQAによる量子サンプリングが古典的サンプリングを上回る明確な利点を示すか？

主な発見

• 最終横磁場強度Γf = 2.00を有するQBM-RLは、全迷路サイズにおいて、DBM-RLおよびRBM-RLの両方を学習忠実度の面で上回った。
• DBM-RLは、同じ数の隠れノードを有しても、RBM-RLよりも高い忠実度を達成した。これは、高次相関をより良くモデル化できたためである。
• 迷路サイズが増加するに従い、RBM-RLの平均忠実度（avℓ）は急速にランダム方策レベルに低下したが、DBM-RLおよびQBM-RLは高い性能を維持した。
• QBM-RLの忠実度曲線は、均一にランダムにサンプリングされた訓練サンプルに対しても、DBMおよびRBM-RLを常に上回った。これは、順序付きスイープに見られる周期性の影響が排除されたことを示している。
• Γf = 0.01でSQAを用いた場合、古典的シミュレーテッドアニーリング（SA）と一致する忠実度曲線が得られ、横磁場がゼロに近づく極限で古典的ボルツマンサンプリングと整合していることを確認した。
• 結果から、RBMベースの手法がより大きな迷路問題を解くために指数関数的に大きなアーキテクチャを必要とすることを考慮すると、QBM-RLには量子優位性の可能性があると考えられる。