[論文レビュー] Using Reinforcement Learning to find Efficient Qubit Routing Policies for Deployment in Near-term Quantum Computers

Steven Herbert, Akash Sengupta|arXiv (Cornell University)|Dec 30, 2018

Quantum Computing Algorithms and Architecture被引用数 14

ひとこと要約

本稿では、限られた接続性を持つ近未来的な量子コンピュータにおける2キュービット相互作用を可能にするためにスワップゲートが使用されるqubitルーティング方策を最適化するため、組み合わせ的行動空間を有する強化学習（RL）フレームワークを提案する。この手法は、深さのオーバーヘッドを最小化することで、ソーティングネットワークを上回り、数値結果により量子回路の効率が向上することを示している。

ABSTRACT

This paper addresses the problem of qubit routing in first-generation and other near-term quantum computers. In particular, it is asserted that the qubit routing problem can be formulated as a reinforcement learning (RL) problem, and that this is sufficient, in principle, to discover the optimal qubit routing policy for any given quantum computer architecture. In order to achieve this, it is necessary to alter the conventional RL framework to allow combinatorial action space, and this represents a second contribution of this paper, which is expected to find additional application, beyond the qubit routing problem addressed herein. Numerical results are included demonstrating the advantage of the RL-trained qubit routing policy over using a sorting network.

研究の動機と目的

• 限られたキュービット接続性を持つ近未来的な量子コンピュータにおけるqubitルーティングの課題に取り組むこと。これは、必要なスワップ操作によって回路の深さが増加するためである。
• qubitルーティング問題を強化学習（RL）問題として定式化し、自動的に効率的なルーティング方策を発見可能にする。
• 従来のRLフレームワークを拡張し、複数の重複しないスワップゲートを同時に選択するという組み合わせ的行動空間（特に、非交差エッジ上の同時スワップ）を処理可能にする。これにより、最適なルーティング意思決定が可能になる。
• 提案されたRLフレームワークが、原理的に任意の最適ルーティング方策を発見できることを示し、多様な量子アーキテクチャに汎用的に適用可能なソリューションであることを示す。
• RLで訓練されたエージェントを用いて、より高速な推論モデルのための教師あり微調整データを生成する可能性を検討し、直接的な状態から行動へのマッピングを可能にする。

提案手法

• RLエージェントは、現在のキュービットレイアウトと量子回路の現在のレイヤーで定義される状態空間に従事し、行動空間は相互作用グラフ上のすべての有効で重複のないスワップゲートの組み合わせからなる。
• 状態表現を、将来の量子回路の断片（例えば、次の数レイヤー）を含めるように拡張することで、エージェントが即時の報酬だけでなく、長期的な相互作用パターンに基づいた意思決定が可能になる。
• Q値関数の近似にディープQネットワーク（DQN）を用い、学習の安定化のため経験再生とターゲットネットワークを活用して訓練する。
• 報酬関数は、回路の深さ増加をペナルティとして設定され、最小限の深さオーバーヘッドを促進する。長期的報酬は、将来の相互作用によって形状づけられる。
• 行動選択プロセスでは、重複しないエッジ上で同時にスワップを行う組み合わせ的行動を扱う。行動空間を個々のスワップではなく、有効なスワップ設定の集合として扱う。
• フレームワークは、ベースライン手法との比較のため、ベンチマーク量子回路上で評価され、深さオーバーヘッドと量子ボリュームの観点から検証される。

実験結果

リサーチクエスチョン

• RQ1 組み合わせ的行動空間を有する強化学習は、接続性が限られた近未来的な量子コンピュータにおいて、低深さのqubitルーティング方策を効果的に発見できるか？
• RQ2 状態表現に将来の回路情報を組み込むことで、即時の報酬に基づく反応的アプローチと比較して、ルーティング意思決定の質がどのように向上するか？
• RQ3 提案されたRLフレームワークは、ソーティングネットワークのような既存のヒューリスティクスをどれほど効果的に上回り、深さオーバーヘッドの観点で優れているか？
• RQ4 このRLフレームワークは、さまざまな量子コンピュータアーキテクチャに一般化可能か、それとも特定の相互作用グラフトポロジーに限定されるか？
• RQ5 RLで訓練されたエージェントを用いて、教師あり微調整のためのラベル付きデータを生成し、直接的な状態から行動へのマッピングにより、より高速な推論を可能にすることができるか？

主な発見

• RLベースのルーティング方策は、ソーティングネットワークベースのルーティングと比較して、回路の深さオーバーヘッドを顕著に低減しており、量子回路の実行における効率の向上を示している。
• 状態ベクトルに断片的な将来の回路を含めることで、エージェントは現在のレイヤーの相互作用だけでなく、長期的な相互作用パターンを考慮した意思決定が可能となり、即時の相互作用に基づく意思決定よりも優れたルーティング選択が可能になる。
• 組み合わせ的行動空間を有する本手法のRLフレームワークは、原理的に最適なルーティング方策を発見可能である。これは、qubitルーティング問題の行動空間と制約を完全に捉えているからである。
• 数値結果により、RLで訓練された方策がベースライン手法よりも低い深さオーバーヘッドを達成していることが確認され、これは直接的に高い量子ボリュームとより長い実行可能時間に繋がる。
• フレームワークにより、RL訓練からラベル付きデータ（状態-行動ペア）を生成可能であり、これにより別個の教師ありモデルを訓練し、より高速な推論（直接的な状態から行動へのマッピング）が可能になる。これは、リアルタイムデプロイメントへの道筋を示唆する。
• 本手法は一般化可能であり、定義された相互作用グラフを持つ任意の量子アーキテクチャに適用可能であるため、多様な近未来的な量子ハードウェアプラットフォームにスケーラブルなソリューションを提供する。