[論文レビュー] How to Teach AI to Play Bell Non-Local Games: Reinforcement Learning

Kishor Bharti, Tobias Haug+2 more|arXiv (Cornell University)|Dec 23, 2019

Computability, Logic, AI Algorithms参考文献 1被引用数 10

ひとこと要約

本稿では、非局所ゲームにおけるベル不等式の破れを最適化するための強化学習（RL）フレームワークを提案する。ハイブリッド量子古典的変分回路を用いて量子状態と測定設定をパラメータ化し、RLエージェントがベル演算子の期待値を最大化するように学習する。凸でない状況においても、従来の凸最適化が失敗する状況でも、ほぼ最大の量子的破れを達成する。

ABSTRACT

Motivated by the recent success of reinforcement learning in games such as Go and Dota2, we formulate Bell non-local games as a reinforcement learning problem. Such a formulation helps us to explore Bell non-locality in a range of scenarios. The measurement settings and the quantum states are selected by the learner randomly in the beginning. Still, eventually, it starts understanding the underlying patterns and discovers an optimal (or near-optimal) quantum configuration corresponding to the task at hand. We provide a proof of principle approach to learning quantum configurations for violating various Bell inequalities. The algorithm also works for non-convex optimization problems where convex methods fail, thus offering a possibility to explore optimal quantum configurations for Bell inequalities corresponding to large quantum networks. We also implement a hybrid quantum-classical variational algorithm with reinforcement learning.

研究の動機と目的

• 非局所ゲームにおけるベル不等式の破れを最適化する強化学習手法の開発。
• 凸最適化手法が失敗する量子ネットワーク環境における非凸最適化の課題に対処すること。
• パラメータ化された変分回路を通じて、エンタングルド量子状態と測定設定を同時に最適化するRLエージェントの実現。
• 特に大規模な量子ネットワークを想定した複雑な量子基礎問題におけるRLの実現可能性の探求。
• 人為的な事前知識なしに、近似的に最適な量子戦略を発見するRLのスケーラビリティとロバスト性の実証。

提案手法

• RLエージェントは、ベル演算子の期待値を最大化するように、近接ポリシー最適化（PPO）を用いて訓練される。
• N-キュービットのエンタングルド状態をパラメータ化するために、調整可能なY回転とCNOTゲートをリング構造に配置したハードウェア効率の良い変分量子回路が使用される。
• エージェントは製品状態（|0⟩^⊗N）から出発し、複数の訓練エポックにわたり回路パラメータを調整して最適化の地形を探索する。
• 報酬信号はスパarsely与えられ、各訓練エピソードの終了時に、現在の設定におけるベル演算子の期待値として与えられる。
• エージェントは探索と活用のトレードオフを処理し、訓練が進むにつれて報酬の標準偏差が減少し、高パフォーマンスの戦略に収束する。
• 本手法は、Turaら（2014）が導出したパラメータを用いて古典的境界と量子的破れの目標を定義する、Dicke状態を用いた多粒子ベル不等式に適用される。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、非凸な状況においてベル不等式の破れを最適化するための最適な量子戦略を発見できるか？
• RQ2 ベル非局所ゲームにおいて、強化学習は量子状態準備と測定設定を同時に最適化するのにどの程度有効か？
• RQ3 ハイブリッド量子古典的RLフレームワークは、多粒子ベル状況においてほぼ最大の量子的破れを達成できるか？
• RQ4 強化学習による量子ベルゲームの最適化において、探索と活用のトレードオフはどのように現れるか？
• RQ5 複雑な量子ネットワーク構成において、強化学習は凸最適化手法をどの程度上回るか？

主な発見

• RLエージェントは変分量子回路を用いて、多粒子ベル不等式の古典的境界を破ることに成功した。
• 3層の変分回路を用いることで、量子最大値に近い破れが達成され、回路の深さに応じたスケーラビリティが示された。
• 2層の回路では古典的境界をわずかに破るにとどまり、より深い回路がよりエンタングルされた状態と高い非局所性に到達可能であることを示している。
• 報酬の標準偏差は訓練が進むにつれて減少し、探索の減少と安定した高パフォーマンスのポリシーへの収束を示している。
• 本手法は非凸最適化の地形を効果的に処理でき、凸最適化手法が失敗する状況でもそれを上回る性能を示した。
• 本手法はロバストで汎用的であり、大規模な量子ネットワークやNISQ時代のデバイスへの応用可能性を示唆している。