[論文レビュー] Reinforcement-Learning-Based Variational Quantum Circuits Optimization for Combinatorial Problems

Sami Khairy, Ruslan Shaydulin+3 more|arXiv (Cornell University)|Nov 11, 2019

Quantum Computing Algorithms and Architecture参考文献 18被引用数 12

ひとこと要約

本稿では、組合せ最適化問題のための量子近似最適化アルゴリズム（QAOA）回路における変分パラメータを最適化する強化学習（RL）ベースのポリシー・ネットワークを提案する。小規模なグラフインスタンスで訓練し、より大きな未観測インスタンスへ一般化する。RLポリシーは、Nelder-Meadなどの市販の最適化手法と比較して、最適性ギャップを最大8.61倍まで縮小し、量子回路評価回数を減らしながらも、著しく優れた解の品質を実現する。

ABSTRACT

Quantum computing exploits basic quantum phenomena such as state superposition and entanglement to perform computations. The Quantum Approximate Optimization Algorithm (QAOA) is arguably one of the leading quantum algorithms that can outperform classical state-of-the-art methods in the near term. QAOA is a hybrid quantum-classical algorithm that combines a parameterized quantum state evolution with a classical optimization routine to approximately solve combinatorial problems. The quality of the solution obtained by QAOA within a fixed budget of calls to the quantum computer depends on the performance of the classical optimization routine used to optimize the variational parameters. In this work, we propose an approach based on reinforcement learning (RL) to train a policy network that can be used to quickly find high-quality variational parameters for unseen combinatorial problem instances. The RL agent is trained on small problem instances which can be simulated on a classical computer, yet the learned RL policy is generalizable and can be used to efficiently solve larger instances. Extensive simulations using the IBM Qiskit Aer quantum circuit simulator demonstrate that our trained RL policy can reduce the optimality gap by a factor up to 8.61 compared with other off-the-shelf optimizers tested.

研究の動機と目的

• 近い将来の量子優位性を制限するQAOAにおける非効率な古典的最適化の課題に対処すること。
• QAOAパラメータ最適化が、インスタンス固有の最適化タスクではなく、学習問題として定式化可能かどうかを検討すること。
• 小規模な問題インスタンスから学習し、より大きな未観測の組合せグラフに一般化可能なRLポリシーを開発すること。
• QAOAで高品質な解を得るために必要な量子回路評価回数を削減すること。
• 標準的な勾配なし最適化手法（例：Nelder-Mead）と比較して、学習済みRLポリシーの性能をベンチマークすること。

提案手法

• RLエージェントは、IBM Qiskit Aer量子回路シミュレータを用いて、小規模なMax-Cut問題インスタンス（例：G_R(16,0.5)）で訓練される。
• ポリシー・ネットワークは、期待エネルギー f(β,γ) = ⟨ψ(β,γ)|H_C|ψ(β,γ)⟩ を最大化することで、QAOAパラメータ β と γ を最適化する。
• QAOA回路は、混合ハミルトニアン H_M とコストハミルトニアン H_C の交互に適用されるパラメータ化された時間発展演算子を用い、均一重ね合わせ状態から出発する。
• RL環境では、状態空間を現在のパラメータ集合 (β,γ) と定義し、行動空間をポリシー勾配に基づく小さなパラメータ更新と定義する。
• 性能は近似比と最適性ギャップを指標として、ランダム、コミュニティ、ラダー構造のグラフを含む、より大きなテストインスタンス（G_Test）で評価される。
• ハイブリッド戦略（RLNM）が用いられ、B/2回の評価後にNelder-Meadで得られた最良のパラメータからRLを再開することで、収束性が向上する。

実験結果

リサーチクエスチョン

• RQ1 小規模なQAOAインスタンスで訓練された強化学習ポリシーは、未観測の大規模な組合せ最適化インスタンスを最適化するために一般化可能か？
• RQ2 標準的な市販最適化手法と比較して、RLはQAOAパラメータ最適化における最適性ギャップをどの程度縮小できるか？
• RQ3 RLポリシーは、非凸なQAOAコスト関数の幾何的規則性を活用して収束を加速するか？
• RQ4 異なるグラフタイプ（ランダム、コミュニティ、ラダー）およびQAOA回路の深さに応じて、RLポリシーの性能はどのように変化するか？
• RQ5 RLと古典的最適化手法（例：Nelder-Mead）を組み合わせることで、単独で使用する場合よりも優れた性能が得られるか？

主な発見

• RLポリシーは、さまざまなグラフサブグループおよびQAOA深さにおいて、Nelder-Mead最適化手法と比較して最適性ギャップを最大8.61倍まで縮小した。
• p=1の場合、RLポリシーの中央値最適性比はNelder-Meadを上回り、グラフタイプに応じて1.16〜8.61のギャップ縮小要因を示した。
• RLNMハイブリッド戦略（Nelder-Meadで得られた最良のパラメータからRLを再開）は、p=1,2,4の各場合で中央値最適性比が優れた結果を達成した。
• RLポリシーは、小規模なトレーニングインスタンス（例：G_R(16,0.5)）から大規模なテストインスタンス（例：G_L(8), G_B(8), G_C(2,8)）への一般化が効果的に実現されており、優れた転送性を示した。
• RLポリシーは平均して約20イテレーションで高品質な解に到達し、非凸なコスト関数のなかでも、グローバル最大値に素早く近づく軌道を示した。
• QAOA深さpが増加するにつれて近似比が向上し、すべてのテスト深さおよびグラフクラスにおいて、RLポリシーは一貫した性能向上を維持した。