[論文レビュー] Quantum Observables for continuous control of the Quantum Approximate Optimization Algorithm via Reinforcement Learning

Artur García-Sáez, Jordi Riu|arXiv (Cornell University)|Nov 21, 2019

Quantum Computing Algorithms and Architecture参考文献 2被引用数 14

ひとこと要約

本稿では、QAOAをマルコフ決定過程として扱い、古典的エージェントが量子測定結果を観測として用いて連続的なパラメータ（γ, β）を制御することにより、量子近似最適化アルゴリズム（QAOA）を最適化する連続的強化学習（RL）フレームワークを提案する。この手法により、回路深さが増加する際の安定した学習が可能となり、N=21のケースでp=25まで到達するが、短いエピソードからの知識再利用によって最適または近似的に最適なMAXCUT解が得られる。

ABSTRACT

We present a classical control mechanism for Quantum devices using Reinforcement Learning. Our strategy is applied to the Quantum Approximate Optimization Algorithm (QAOA) in order to optimize an objective function that encodes a solution to a hard combinatorial problem. This method provides optimal control of the Quantum device following a reformulation of QAOA as an environment where an autonomous classical agent interacts and performs actions to achieve higher rewards. This formulation allows a hybrid classical-Quantum device to train itself from previous executions using a continuous formulation of deep Q-learning to control the continuous degrees of freedom of QAOA. Our approach makes a selective use of Quantum measurements to complete the observations of the Quantum state available to the agent. We run tests of this approach on MAXCUT instances of size up to N = 21 obtaining optimal results. We show how this formulation can be used to transfer the knowledge from shorter training episodes to reach a regime of longer executions where QAOA delivers higher results.

研究の動機と目的

• ノイズや限られたコherenece時間といったNISQ時代の制約下で、QAOAパラメータを効率的に最適化することに挑む。
• 高深さのQAOA回路におけるグローバル最適化手法の限界を克服し、スケーラブルで段階的な学習を可能にする。
• 目的関数値のほかに、量子測定結果を豊富な観測として活用し、RLエージェントのポリシー学習を向上させる。
• 短いエピソードからの知識を、より長い深さのQAOA回路に転送する可能性を実証する。
• 従来の手法が失敗する大規模な回路深さ（p > 20）においても、QAOAの安定した最適化を可能にする。

提案手法

• QAOAを連続的行動強化学習環境として再定式化し、エージェントがQAOA回路の変分パラメータ（γ, β）を制御する。
• 深層Q学習を用い、連続的行動空間（例：DDPGやNAFベースのアルゴリズム）を活用して、量子デバイスの最適制御ポリシーを学習する。
• 目的関数値（例：MAXCUTにおける期待カットサイズ）に基づく報酬関数を設計し、学習安定性を向上させるために遅延報酬を導入する。
• 選択的量子測定を用いて状態情報の抽出を行い、古典的目的関数値以上の豊富な観測をエージェントに提供する。
• 段階的学習を実装：短いエピソード（p）からのポリシーを再利用し、より長い深さ（p′ > p）での学習を初期化することで、大規模なpにおける安定収束を実現する。
• ステップ間で過去のパラメータ{γ, β}を古典的記憶として保持し、長時間スケールの制御を支援するとともに、観測頻度を低減する。

実験結果

リサーチクエスチョン

• RQ1 グローバル最適化に依存せずに、回路深さ（p）が増加する際のQAOAパラメータを連続的強化学習で効果的に最適化できるか？
• RQ2 目的関数値のみに依存するのではなく、量子測定結果を観測として用いることで、RLエージェントの性能がどのように向上するか？
• RQ3 浅い深さ（例：p=10）での学習から得た知識を、より深い回路（例：p=25）での安定した学習に成功して転送できるか？
• RQ4 N=21までに達するMAXCUT問題における、RLベースのQAOA最適化の性能上限は何か？また、最適解に到達できるか？
• RQ5 遅延報酬と選択的測定戦略は、深さのあるQAOA回路における学習安定性と収束性にどのように影響するか？

主な発見

• エージェントはN=21までの問題例で最適または近似的に最適なMAXCUT解を達成し、報酬がグローバル最適値と一致した。
• 本手法により、計算的に非効率なためグローバル最適化が失敗するp=25までの回路深さでも、エージェントの学習に成功した。
• p=10からp=25への段階的学習により、安定した収束が達成され、各深さ遷移に伴い報酬が段階的に向上した。
• 量子測定データを観測として活用することで、学習効率が著しく向上し、収束速度の向上とより良いポリシー一般化が実現された。
• エージェントのポリシーは深さ間で一般化され、短いエピソードから長いエピソードへの知識転送が実証され、大規模pにおける冷スタートの必要性が低減された。
• 遅延報酬と選択的測定戦略が、特に高深さの領域において数値的安定性に寄与した。