[論文レビュー] Automated quantum programming via reinforcement learning for combinatorial optimization

Keri A. McKiernan, Erik Davis+2 more|arXiv (Cornell University)|Aug 21, 2019

Quantum Computing Algorithms and Architecture参考文献 1被引用数 13

ひとこと要約

本稿では、シミュレートされたおよび実際のゲートベースの量子コンピュータ上で、組合せ最適化問題を解くための自動量子プログラミングを実現する強化学習フレームワークを提案する。Proximal Policy Optimization (PPO) を用いて、エージェントは短く高品質な量子回路を学習的に生成し、訓練されていないエージェントや p=1 の QAOA を上回ることを示した。これは、問題インスタンス間での一般化およびシミュレーションと物理的ハードウェアとの間での一般化を示している。

ABSTRACT

We develop a general method for incentive-based programming of hybrid quantum-classical computing systems using reinforcement learning, and apply this to solve combinatorial optimization problems on both simulated and real gate-based quantum computers. Relative to a set of randomly generated problem instances, agents trained through reinforcement learning techniques are capable of producing short quantum programs which generate high quality solutions on both types of quantum resources. We observe generalization to problems outside of the training set, as well as generalization from the simulated quantum resource to the physical quantum resource.

研究の動機と目的

• ハイブリッド量子古典コンピューティングシステムにおける自動量子プログラミングのための一般的な強化学習フレームワークの開発を目的とする。
• ノイズや限られた量子ビットコherenve に起因する非直感的でエラーを起こしやすい近位量子ハードウェアのプログラミング課題に対処することを目的とする。
• エージェントが組合せ最適化問題（COPs）に対して高品質な解を生成するコンactな量子回路を生成できることを目的とする。
• 訓練済みエージェントの、未学習の問題インスタンスおよびシミュレーションと物理的量子リソースとの間での一般化を評価することを目的とする。
• QAOA などの標準的なヒューリスティック手法を超えて、強化学習による量子プログラム合成のスケーラビリティおよびトランスファー可能性を調査することを目的とする。

提案手法

• OpenAI Gym の API を用いて、量子プログラム合成のための強化学習環境を形式化し、状態空間、行動空間、報酬関数を定義する。
• 行動空間を、例えば RZ や RY 回転などの有限な離散的単一キュービットゲートの集合として定義し、量子回路構築における離散的制御を可能にする。
• 報酬信号として、問題固有のコストハミルトニアンの期待値を用い、安定した学習のため [0,1] にスケーリングする。
• PPO アルゴリズムを用いて、共有のアクタ・クリティックニューラルネットワークアーキテクチャを最適化し、量子回路生成のためのポリシーを最適化する。
• ゲートを逐次追加しながら量子プログラムを構築し、量子リソース（シミュレータまたは実際の QPU）で評価し、観測された報酬に基づいてポリシーを更新する。
• 観測には、量子状態の測定結果と、問題固有の特徴（例えば、グラフ構造）を含め、エージェントが問題の文脈を推論できるようにする。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、シミュレートおよび物理的量子ハードウェアの両方で、組合せ最適化問題に対して短く高品質な量子プログラムを効果的に生成できるか？
• RQ2 訓練済みエージェントは、学習分布外の問題インスタンスにどの程度一般化できるか？
• RQ3 同一の問題セットにおいて、RL が生成したプログラムの性能は、標準的な p=1 QAOA ヒューリスティックと比べてどうか？
• RQ4 ノイズやゲート忠実度の違いがあるにもかかわらず、エージェントのポリシーはシミュレーションから実際の量子プロセッサへ一般化できるか？
• RQ5 問題サイズの増大に伴う、この手法のスケーラビリティのインパクトは何か。特に、学習時間と回路深さの観点から検討する。

主な発見

• 訓練済みの強化学習エージェントは、シミュレートおよび物理的量子リソースの両方で、訓練されていないエージェントや p=1 QAOA を常に上回る高品質な解を生成した。
• エージェントは、学習データに過剰適合することなく、学習済みデータとは異なる問題インスタンスに対しても一般化を示し、転送可能な戦略の出現を示した。
• シミュレートされた量子リソースから物理的量子プロセッサへの一般化が観測され、ノイズやハードウェアの不完全性に対してもロバストであることが示された。
• 特定の問題に対して、最短のゲートシーケンス（例：X ゲートのみ）が最適であることが判明し、ポリシーは理論的期待に一致して、非効率な回転を避けるように学習した。
• PPO アルゴリズムにより、広範なハイパーパramータチューニングを必要とせず、安定的かつ効率的な学習が可能となり、実用的導入の可能性を支持した。
• 観測と報酬設計の変更を加えることで、非対角ハミルトニアンや他の量子プログラミングタスクへの拡張が、このフレームワークにおいて有望であることが示唆された。