[論文レビュー] A framework for deep energy-based reinforcement learning with quantum speed-up

Sofiène Jerbi, Hendrik Poulsen Nautrup+3 more|arXiv (Cornell University)|Oct 28, 2019

Quantum Computing Algorithms and Architecture被引用数 5

ひとこと要約

本論文は、深層エネルギーに基づくモデルとプロジェクティブ・サブジェクションを統合する包括的フレームワークを提案し、深層強化学習における量子的高速化を実現する。生成的エネルギーに基づくモデルを活用することで、複雑で大規模な環境における意思決定を、量子強化された学習ダイナミクスによって向上させる。

ABSTRACT

In the past decade, deep learning methods have seen tremendous success in various supervised and unsupervised learning tasks such as classification and generative modeling. More recently, deep neural networks have emerged in the domain of reinforcement learning as a tool to solve decision-making problems of unprecedented complexity, e.g., navigation problems or game-playing AI. Despite the successful combinations of ideas from quantum computing with machine learning methods, there have been relatively few attempts to design quantum algorithms that would enhance deep reinforcement learning. This is partly due to the fact that quantum enhancements of deep neural networks, in general, have not been as extensively investigated as other quantum machine learning methods. In contrast, projective simulation is a reinforcement learning model inspired by the stochastic evolution of physical systems that enables a quantum speed-up in decision making. In this paper, we develop a unifying framework that connects deep learning and projective simulation, opening the route to quantum improvements in deep reinforcement learning. Our approach is based on so-called generative energy-based models to design reinforcement learning methods with a computational advantage in solving complex and large-scale decision-making problems.

研究の動機と目的

• ディープラーニングとプロジェクティブ・サブジェクションを統合することで、ディープ強化学習と量子強化意思決定を橋渡しすること。
• 強化学習における深層ニューラルネットワークにおける量子的高速化の限界的な探索を解決すること。
• 量子的利点を活用して、大規模な意思決定問題のスケーラブルなフレームワークを開発すること。
• エネルギーに基づくモデリングを通じて、複雑な強化学習タスクにおける量子的改善を実現すること。
• 生成的エネルギーに基づくモデルを量子強化型強化学習に統合する方法を探索すること。

提案手法

• フレームワークは、深層エネルギーに基づくモデルと、量子にインspiredされた強化学習モデルであるプロジェクティブ・サブジェクションを統合する。
• 生成的エネルギーに基づくモデルを用いて、意思決定タスクにおける価値関数と方策をパラメータ化する。
• 物理系の確率的ダイナミクスを活用して意思決定の進化をモデル化し、量子的高速化を可能にする。
• プロジェクティブ・サブジェクションの固有の量子計算的利点を介して、学習ダイナミクスに量子強化を埋め込む。
• エネルギーに基づく関数近似を通じて、複雑で高次元の環境へスケーリング可能に設計されている。
• 問題のエネルギー・ランドスケープを活用することで、効率的な探索と方策最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 プロジェクティブ・サブジェクションとエネルギーに基づくモデルを統合することで、ディープ強化学習における量子的高速化を実現できるか？
• RQ2 生成的エネルギーに基づくモデルは、大規模な強化学習タスクにおける意思決定をどのように向上させることができるか？
• RQ3 量子にインspiredされたダイナミクスは、学習効率とスケーラビリティを向上させる役割を果たすか？
• RQ4 ディープラーニングと量子強化型強化学習を体系的に統合する方法は何か？
• RQ5 このフレームワークは、複雑な環境において、古典的ディープ強化学習のベースラインを上回る性能を示せるか？

主な発見

• 提案されたフレームワークは、深層エネルギーに基づくモデルとプロジェクティブ・サブジェクションを統合し、量子強化型学習を実現した。
• 統合により、複雑で大規模な意思決定問題を解く上で計算的優位性が得られた。
• 量子にインspiredされたダイナミクスを活用することで、学習効率と探索性が向上した。
• プロジェクティブ・サブジェクションを通じて、強化学習における量子的高速化の可能性を示した。
• エネルギーに基づくモデリングは、方策関数と価値関数のスケーラブルで表現力のある関数近似を提供した。
• 生成的モデリングと量子ダイナミクスを組み合わせることで、量子強化型ディープ強化学習の新たな道筋を開いた。