[論文レビュー] Quantum Architecture Search via Continual Reinforcement Learning

Esther Ye, Samuel Yen-Chi Chen|arXiv (Cornell University)|Dec 10, 2021

Quantum Computing Algorithms and Architecture被引用数 12

ひとこと要約

本論文では、変動するノイズ条件下での量子回路アーキテクチャ探索を自動化するため、確率的ポリシー再利用を組み込んだ深層Qラーニング（PPR-DQL）を用いた継続的強化学習フレームワークを提案する。過去に学習したポリシーを再利用し、新しい環境に適応することで、初期から訓練するのと比較して、2キュービットのベル状態を生成する際の収束速度が向上し、性能が向上する。

ABSTRACT

Quantum computing has promised significant improvement in solving difficult computational tasks over classical computers. Designing quantum circuits for practical use, however, is not a trivial objective and requires expert-level knowledge. To aid this endeavor, this paper proposes a machine learning-based method to construct quantum circuit architectures. Previous works have demonstrated that classical deep reinforcement learning (DRL) algorithms can successfully construct quantum circuit architectures without encoded physics knowledge. However, these DRL-based works are not generalizable to settings with changing device noises, thus requiring considerable amounts of training resources to keep the RL models up-to-date. With this in mind, we incorporated continual learning to enhance the performance of our algorithm. In this paper, we present the Probabilistic Policy Reuse with deep Q-learning (PPR-DQL) framework to tackle this circuit design challenge. By conducting numerical simulations over various noise patterns, we demonstrate that the RL agent with PPR was able to find the quantum gate sequence to generate the two-qubit Bell state faster than the agent that was trained from scratch. The proposed framework is general and can be applied to other quantum gate synthesis or control problems -- including the automatic calibration of quantum devices.

研究の動機と目的

• NISQデバイス向けに最適な量子回路を設計する課題に取り組む。これは熟練した知識を要し、ノイズに対して敏感である。
• 変化するノイズ環境にわたって一般化能力に欠ける既存の深層強化学習（DRL）手法の限界を克服する。
• 再訓練を初期から行わずに、新しいノイズパターンに適応可能な、量子ゲートシーケンス合成の汎用フレームワークを開発する。
• 継続的ポリシー適応を通じて、ノイズのある量子系におけるリアルタイムの自律的補正を可能にする。
• 継続的学習をベル状態準備をはるかに超えた量子制御および回路設計問題に適用する可能性を実証する。

提案手法

• 新しいノイズ環境に直面した際に、過去に学習したポリシーを活用できるように、確率的ポリシー再利用（PPR）を強化した深層Qラーニングエージェントを導入する。
• 確率閾値ψを用いたハイブリッド探索戦略を実装し、過去のポリシー（Li）の活用と新しいポリシー（L0）の探索のバランスを取る。
• 温度パrameter τを用いたボルツマンポリシー選択戦略を採用し、ライブラリ内の高パフォーマンスポリシーを動的に優先する。
• トレーニングの安定化と収束の向上を図るため、率Tを用いたターゲットネットワーク更新メカニズムを適用する。
• オフポリシー学習のため、遷移タプル（st, at, rt, st+1）のリプレイメモリDを維持する。
• 累積報酬と選択頻度の追跡を通じてポリシーライブラリを更新し、エージェントが時間経過とともにポリシー選択を適応的に改善できるようにする。

実験結果

リサーチクエスチョン

• RQ1 継続的強化学習は、NISQデバイスにおける変動するノイズパターンにわたる量子アーキテクチャ探索エージェントの一般化能力を向上させ得るか？
• RQ2 初期から訓練するのと比較して、ポリシー再利用は量子ゲートシーケンス合成における訓練効率と収束速度にどのように影響するか？
• RQ3 1つのRLエージェントが、深刻な忘却を起こさずに、新しいノイズ環境にどの程度適応できるか？
• RQ4 提案されたフレームワークは、ベル状態生成をはるかに超えた他の量子制御およびキャリブレーションタスクへ一般化可能か？
• RQ5 動的探索戦略（例：π-探索）は、量子回路における継続的学習におけるポリシー選択とパフォーマンスにどのような影響を及ぼすか？

主な発見

• PPR-DQLエージェントは、未観測のノイズパターン下でも、初期から訓練するのと比較してベル状態の生成においてより速い収束を達成した。
• ポリシー再利用により、高いパフォーマンスに到達するための訓練エピソード数が顕著に減少し、サンプル効率の向上が確認された。
• 多様なノイズ環境においても強力なパフォーマンスを維持したため、装置の状態変化に対する一般化能力が優れていることが示された。
• エージェントは、新しい環境での学習を加速するために、過去に学習したポリシーを効果的に活用した。これは、量子制御における継続的学習の有効性を裏付けた。
• 確率的ポリシー再利用メカニズムにより、安定的かつ適応的なポリシー選択が可能になり、継続的適応中の深刻な忘却のリスクが低減された。
• 数値シミュレーションにより、PPR-DQLフレームワークが一般化可能であり、自律的デバイスキャリブレーションを含む、他の量子ゲート合成および制御問題への応用が可能であることが確認された。