[論文レビュー] Playing Atari with Hybrid Quantum-Classical Reinforcement Learning

Owen Lockwood, Mei Si|arXiv (Cornell University)|Jul 8, 2021

Quantum Computing Algorithms and Architecture参考文献 50被引用数 15

ひとこと要約

本論文は、高次元のAtariゲームフレーム（28,224ピクセル）を量子状態に変換するための学習済みデータエンコーダとしてのニューラルネットワークを用い、量子バリエーショナル回路（QVC）に統合されたハイブリッド量子古典強化学習フレームワークを提案する。この革新にもかかわらず、本手法はBreakoutおよびPongの学習に失敗し、古典的DQNモデルを下回る性能を示しており、現在のハイブリッドシステムが複雑なAtari環境に対して十分な表現力を持たないことを示している。

ABSTRACT

Despite the successes of recent works in quantum reinforcement learning, there are still severe limitations on its applications due to the challenge of encoding large observation spaces into quantum systems. To address this challenge, we propose using a neural network as a data encoder, with the Atari games as our testbed. Specifically, the neural network converts the pixel input from the games to quantum data for a Quantum Variational Circuit (QVC); this hybrid model is then used as a function approximator in the Double Deep Q Networks algorithm. We explore a number of variations of this algorithm and find that our proposed hybrid models do not achieve meaningful results on two Atari games - Breakout and Pong. We suspect this is due to the significantly reduced sizes of the hybrid quantum-classical systems.

研究の動機と目的

• 標準的なエンコーディング手法では現在不可能であるが、Atariゲームフレームのような大きな観測空間を量子系にエンコードする課題に対処すること。
• 学習済みニューラルネットワークベースのデータエンコーディングが、Atariのような大規模ベンチマークにおける量子強化学習を可能にするかを調査すること。
• ハイブリッド量子古典エージェントの性能を、Atari環境（BreakoutおよびPong）において古典的ベースラインと比較して評価すること。
• 現在のNISQ時代の量子ハードウェア制約のもとで、高次元制御タスクにおいて関数近似の量子的優位性が現れるかを特定すること。

提案手法

• 原始的なピクセル観測値を、量子バリエーショナル回路（QVC）のための量子操作に変換するための微分可能データエンコーダとして畳み込みニューラルネットワーク（CNN）を用いる。
• Q値関数をハイブリッド量子古典モデルによって近似するダブルディープQネットワーク（DQN）フレームワークを採用し、QVCを関数近似子として機能させる。
• ポリシー勾配法を用いて訓練される、変数パラメータを有する量子回路（QVC）を適用し、NISQデバイスでのシミュレーションにはTensorFlow Quantumを用いる。
• 古典的勾配をDQN損失から得て、ニューラルエンコーダーを介してバックプロパゲートすることで、古典的および量子パラメータの両方を更新するハイブリッドトレーニングパイプラインを実装する。
• QVCの深さやエンコーダーの能力を変化させた複数のモデルバージョンを検討し、BreakoutおよびPongでの性能をテストする。
• 固定された観測空間（84×84×4フレーム、28,224次元）を用い、各フレームを個々のキュービット上の学習済み回転を介して量子状態にエンコードする。

実験結果

リサーチクエスチョン

• RQ1 学習済みニューラルネットワークエンコーダーは、強化学習に適した量子表現に高次元のAtariゲーム状態を効果的にマッピングできるか？
• RQ2 QVCベースの関数近似子を用いたハイブリッド量子古典DQNエージェントは、BreakoutやPongのようなAtariゲームにおいて古典的DQNエージェントを上回る性能を示すか？
• RQ3 モデルのサイズと表現力は、複雑な環境におけるハイブリッド量子古典RLエージェントの学習性能にどのような影響を与えるか？
• RQ4 データリアップロードやアモニチュードエンコーディングの欠如が、現在のハイブリッドQRLモデルの性能に与える制限は何か？

主な発見

• ハイブリッド量子古典エージェントは、BreakoutおよびPongのポリシー学習に一貫して失敗し、古典的DQNベースラインと比較して顕著に低い平均リターンを示した。
• 最も性能の良いハイブリッドモデルでも、Breakoutでは平均リターン約15、Pongでは約10を記録したが、古典的DQNの平均リターン（それぞれ250および200）には及ばなかった。
• 古典モデルと比較してパrameter数を100倍も削減しても、ハイブリッドエージェントは収束の兆候やポリシーの改善が見られなかった。
• 失敗の原因は、QVCのサイズが小さく、回路の深さが限られているための関数近似子の表現力不足に起因し、ハイブリッドアーキテクチャ自体の根本的欠陥ではない。
• 結果から、現在のハイブリッドモデルは、学習済みエンコーディングを用いても、Atari環境の複雑さを処理するには小さく、パrameter数が不足していると示唆される。
• 本研究は、データリアップロードなどの訓練技術の向上がなければ、量子優位性が主流のベンチマークで実現可能でないことを示している。