[論文レビュー] Curriculum-based Deep Reinforcement Learning for Quantum Control

Hailan Ma, Daoyi Dong+2 more|arXiv (Cornell University)|Dec 31, 2020

Quantum Information and Cryptography被引用数 5

ひとこと要約

本稿では、忠実度のしきい値によってタスクを順序付け、段階的に難易度を上げるカリキュラム学習に基づく深層強化学習（CDRL）フレームワークを提案する。知識の転送により、CDRLは標準的なDRL手法と比較して収束が速く、制御の忠実度が高く、制御パulsesが少ないという特徴を示し、閉じた系および開放的量子系の両方で優れた性能を発揮する。

ABSTRACT

Deep reinforcement learning has been recognized as an efficient technique to design optimal strategies for different complex systems without prior knowledge of the control landscape. To achieve a fast and precise control for quantum systems, we propose a novel deep reinforcement learning approach by constructing a curriculum consisting of a set of intermediate tasks defined by a fidelity threshold. Tasks among a curriculum can be statically determined using empirical knowledge or adaptively generated with the learning process. By transferring knowledge between two successive tasks and sequencing tasks according to their difficulties, the proposed curriculum-based deep reinforcement learning (CDRL) method enables the agent to focus on easy tasks in the early stage, then move onto difficult tasks, and eventually approaches the final task. Numerical simulations on closed quantum systems and open quantum systems demonstrate that the proposed method exhibits improved control performance for quantum systems and also provides an efficient way to identify optimal strategies with fewer control pulses.

研究の動機と目的

• 複雑な量子制御における深層強化学習（DRL）の収束が遅く、報酬が疎であるという課題に対処すること。
• 高次元のダイナミクスと散逸を示す量子系における学習効率と制御性能を向上させること。
• 高忠実度の量子操作を達成するために必要な制御パulsesの数を減らすこと。
• DRLにおけるタスク難易度の構造的配分としてカリキュラム学習を検討すること。
• 量子制御タスクにおいて、従来のDRL、勾配降下法（GD）、遺伝的アルゴリズム（GA）のベースラインを上回ること。

提案手法

• 中間タスクの集合を用いてカリキュラムを構築し、増加する忠実度のしきい値を難易度の指標として用いる。
• タスクを忠実度が低い順から高い順へ順序付け、エージェントが複雑なタスクに取り組む前に簡単な制御戦略を学習できるようにする。
• 共有ポリシー・ネットワークを通じた知識の転送により、サンプル効率と収束速度が向上する。
• DRLエージェントは、状態の時間発展と忠実度に基づく疎な報酬信号から、深層Qネットワーク（DQN）アーキテクチャを用いて制御ポリシーを学習する。
• カリキュラムは、経験則的知識を用いて事前に定義される静的設定、または学習の進行に応じて動的に生成される。
• 本手法は、時間の長さや制御場の制約が異なる4レベルの閉じた系および開放的量子系に対して評価されている。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム学習は、量子制御におけるDRLのサンプル効率と収束速度を向上させることができるか？
• RQ2 忠実度が増加する順にタスクを順序付けた場合、より良い制御性能とパulses数の削減が達成されるか？
• RQ3 CDRLは、高忠実度の量子状態準備において、標準DRL、勾配降下法、遺伝的アルゴリズムと比較してどのように優れているか？
• RQ4 CDRLは、報酬が疎で、ダイナミクスが複雑な開放的量子系の課題に対処できるか？
• RQ5 カリキュラムベースの学習は、高忠実度の操作に必要なパulsesの数をどの程度削減できるか？

主な発見

• 4レベルの開放的量子系において、CDRLは全テスト時間長にわたり、DRL-1およびDRL-2と比較してより高い最終的な制御忠実度を達成した。
• 数値シミュレーションでは、CDRLが高忠実度に到達するまでの平均エピソードステップ数が低く抑えられており、必要な制御パulsesの数が減少していることが示された。
• 時間長が延びてもCDRLは高い性能を維持するが、DRL-1およびDRL-2は顕著な性能劣化を示した。
• 制御忠実度と収束速度の両面で、CDRLは勾配降下法（GD）および遺伝的アルゴリズム（GA）を上回った。
• CDRLの平均報酬は、安定的かつ一貫して高く、水平線に近い形状を示しており、安定的で効率的な学習が実現していることを示している。
• CDRLは、特に報酬が疎な条件下でも、閉じた系および開放的量子系の両方で強く、効率的な性能を示した。