[論文レビュー] Reinforcement learning for optimization of variational quantum circuit architectures

Mateusz Ostaszewski, Lea M. Trenkwalder+3 more|arXiv (Cornell University)|Mar 30, 2021

Quantum Computing Algorithms and Architecture参考文献 40被引用数 54

ひとこと要約

この論文は、 intrinsic curriculum learningを用いた深層強化学習フレームワークを提案し、浅く、ゲート効率の高い variational quantum circuit (VQE) アンサツを自動的に構築、LiHに対して化学精度を達成しつつ回路深さを最小化。HEおよびUCCSDのベースラインと比較して優れたスケーリングを示し、移動閾値トレーニング戦略によりより多くの量子ビット数へ拡張可能。

ABSTRACT

The study of Variational Quantum Eigensolvers (VQEs) has been in the spotlight in recent times as they may lead to real-world applications of near-term quantum devices. However, their performance depends on the structure of the used variational ansatz, which requires balancing the depth and expressivity of the corresponding circuit. In recent years, various methods for VQE structure optimization have been introduced but the capacities of machine learning to aid with this problem has not yet been fully investigated. In this work, we propose a reinforcement learning algorithm that autonomously explores the space of possible ans{ä}tze, identifying economic circuits which still yield accurate ground energy estimates. The algorithm is intrinsically motivated, and it incrementally improves the accuracy of the result while minimizing the circuit depth. We showcase the performance of our algorithm on the problem of estimating the ground-state energy of lithium hydride (LiH). In this well-known benchmark problem, we achieve chemical accuracy, as well as state-of-the-art results in terms of circuit depth.

研究の動機と目的

• NISQ制約下の variational quantum eigensolvers (VQE) におけるアーキテクチャ最適化の必要性を動機づけ、取り組む。

提案手法

• アンサツ構築を、DDQNとゲート挿入の離散的アクション空間を用いた強化学習タスクとして定式化する。
• 回路状態をゲート層エントリの有序リストとして表現し、回転角をRLエージェントとは別の古典的サブルーチン（COBYLAまたは Rotosolve）で最適化する。
• 化学精度の達成を強く促進し、過剰な深さ（最大レイヤー数 L）を罰し、エネルギー改善を報いる報酬構造を使用する。

実験結果

リサーチクエスチョン

• RQ1 NISQ制約下で、強化学習エージェントがLiH向けにコンパクトで高精度なVQEアンサツを自動的に構築できるか？
• RQ2 intrinsic curriculum learningが、浅い回路で化学精度に到達するエージェントの能力にどのように影響するか？
• RQ3 回転角のグローバル最適化とローカル最適化が、回路深さとゲート数に与える影響は何か？
• RQ4 厳密な基底状態エネルギーが利用できない場合や近似される場合、moving-thresholdアプローチはどのように機能するか？
• RQ5 RL由来のアーキテクチャは、深さとゲート効率の点でHEおよびUCCSDベースラインとどう比較されるか？

主な発見

方法	平均深さ	最小深さ	平均ゲート数	最小ゲート数
RL global COBYLA	14	12	36	29
HE	17	17	63	63
UCCSD	377	377	610	610

• RLアプローチは、4量子ビットLiHに対して、結合長1.2Å、2.2Å、3.4Åの多くのケースでHEおよびUCCSDより浅い回路で化学精度を達成する。
• 6量子ビットLiHの2.2Åで、moving-thresholdカリキュラムRLは10試行中2回で化学精度を達成し、平均深さ14、最小深さ12、平均ゲート数36、最小ゲート数29（global COBYLA最適化の下）を記録。
• 6量子ビットの場合、RL法で生成される回路は、比較に報告されたUCCSDベースラインの約5分の1の深さ程度であり、平均ケースではHEよりも浅い。
• COBYLAは一般にRotosolveよりも浅い回路を生み出し化学精度に到達する点でRLフレームワーク下で優れる。
• 内在的動機づけのmoving-thresholdカリキュラムは、厳密な基底状態エネルギーの正確な知識を事前に要求せず、下限 proxy を使用しても学習を可能にする。