[論文レビュー] Reinforcement Learning Assisted Recursive QAOA

Yash J. Patel, Sofiène Jerbi+2 more|arXiv (Cornell University)|Jul 13, 2022

Quantum Computing Algorithms and Architecture被引用数 7

ひとこと要約

本稿では、イジンスピン模型の困難なインスタンスに対して解の品質を向上させる強化学習を統合した再帰的QAOA（RQAOA）の変種、RL-RQAOAを提案する。RQAOAにおける変数の削除を強化学習問題として定式化することで、最適な削除順序とQAOAパラメータを学習し、困難なインスタンスでは標準的なRQAOAを上回り、より簡単なインスタンスでも優れた性能を維持する。

ABSTRACT

Variational quantum algorithms such as the Quantum Approximation Optimization Algorithm (QAOA) in recent years have gained popularity as they provide the hope of using NISQ devices to tackle hard combinatorial optimization problems. It is, however, known that at low depth, certain locality constraints of QAOA limit its performance. To go beyond these limitations, a non-local variant of QAOA, namely recursive QAOA (RQAOA), was proposed to improve the quality of approximate solutions. The RQAOA has been studied comparatively less than QAOA, and it is less understood, for instance, for what family of instances it may fail to provide high quality solutions. However, as we are tackling $\mathsf{NP}$-hard problems (specifically, the Ising spin model), it is expected that RQAOA does fail, raising the question of designing even better quantum algorithms for combinatorial optimization. In this spirit, we identify and analyze cases where RQAOA fails and, based on this, propose a reinforcement learning enhanced RQAOA variant (RL-RQAOA) that improves upon RQAOA. We show that the performance of RL-RQAOA improves over RQAOA: RL-RQAOA is strictly better on these identified instances where RQAOA underperforms, and is similarly performing on instances where RQAOA is near-optimal. Our work exemplifies the potentially beneficial synergy between reinforcement learning and quantum (inspired) optimization in the design of new, even better heuristics for hard problems.

研究の動機と目的

• 深さ1の再帰的QAOA（RQAOA）がイジンススピン模型で失敗するケースを特定・分析すること、特に近似比が0.95未満に下がる場合を対象とする。
• これらの困難なインスタンスにおけるRQAOAの失敗の根本的要因を解明すること。特に、非最適な変数の削除順序とQAOAパラメータの選択に注目する。
• 変数の削除順序とQAOAパラメータを最適化するため、強化学習を統合したハイブリッド量子古典アルゴリズムを設計すること。
• 純粋な古典的強化学習エージェント（RL-RONE）がブルートフォース探索を模倣するのと比較することで、提案手法の量子的優位性を検証すること。
• RL-RQAOAにおける量子回路が性能向上に非自明に寄与していることを示すこと。すなわち、単なる古典的シミュレーションの代理としてではなく、実質的な貢献をしていること。

提案手法

• 深さ1のRQAOAが近似比≤0.95にとどまる小規模なイジンス問題インスタンス（例：(3,12)-ケージグラフ）を特定する。
• RQAOAにおける変数の削除ステップを、エージェントが削除対象の変数を選択する意思決定プロセスとして再定式化する。
• RL-RQAOAに量子インスピレーションを受けるポリシー・ネットワークを導入し、削除プロセスにおける探索と活用のバランスを取る。
• ポリシー勾配法を用いてエージェントを訓練し、エネルギー最適パラメータではなく、各再帰ステップでのQAOAパラメータ（角度）を最適化する。
• RL-RQAOAを標準的なRQAOAおよび古典的強化学習のみのベースライン（RL-RONE）と比較する。RL-RONEは量子回路を一切使用せず、ブルートフォース探索をシミュレートする。
• 100および200ノードの3-正則グラフを含む、ランダムな重み付きd-正則グラフのアンサンブルに対して、複数回の実行を想定した古典的シミュレーションを実施し、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深さ1のRQAOAが高品質な解を得られないイジンス問題インスタンスに、どのような構造的または組合せ的性質があるのか？
• RQ2 RQAOAにおける変数の削除順序の選択が最終的な解の品質に与える影響は何か？そして、学習によって最適化可能か？
• RQ3 強化学習は、再帰的QAOAにおける削除対象の変数選択とQAOAパラメータの両方を改善し、より良い近似比を達成できるか？
• RQ4 RL-RQAOAにおける量子回路が性能向上に果たす貢献度は、純粋な古典的強化学習に比べてどの程度か？
• RQ5 同様の問題インスタンスにおいて、ハイブリッド量子古典強化学習のRL-RQAOAは、純粋な古典的強化学習エージェントに比べ、より速く収束し、より優れた解に到達できるか？

主な発見

• RL-RQAOAは、(3,12)-ケージグラフを含む、すべての困難なインスタンスで標準的なRQAOAを一貫して上回る性能を示した。RQAOAが最適解に到達できないケースでも同様である。
• 15回の独立実行における平均値として、RL-RQAOAは困難なインスタンスでRQAOAよりも高い最良近似比を達成し、統計的に有意な改善が確認された。
• RL-RQAOAの学習曲線は、QAOAパラメータをランダムに初期化した場合でも、古典的強化学習エージェントRL-RONEに比べて収束が早く、最終的な性能が優れていた。
• RL-RQAOAにおける量子回路は、性能向上に非自明に寄与しており、量子リソースを欠いた古典的強化学習エージェントRL-RONEに比べ、顕著に優れた性能を示した。
• RL-RQAOAは簡単なインスタンスに対しても強力な性能を維持しており、RQAOAの近似的最適な結果と同等であった。これは、問題の難易度にかかわらず安定した性能を示すことを意味する。
• 提案手法は深さ1のRQAOAに限らず、より高い回路深さに対しても拡張可能であり、NISQ時代の最適化において広範な応用が可能であると示唆された。