[論文レビュー] Generalized Quantum Reinforcement Learning with Quantum Technologies.

F. A. Cárdenas-López, Lucas Lamata+2 more|arXiv (Cornell University)|Sep 22, 2017

Quantum Computing Algorithms and Architecture参考文献 50被引用数 2

ひとこと要約

本論文は、干渉的フィードバックを必要とせず、捕獲イオンや超伝導回路を含む多様な量子系に実装可能な一般化された量子強化学習プロトコルを提案する。この手法は、多量子ビットおよび多準位系、開放系のダイナミクスをサポートし、量子制御および機械学習の効率を向上させる。

ABSTRACT

We propose a protocol to perform generalized quantum reinforcement learning with quantum technologies. At variance with recent results on quantum reinforcement learning with superconducting circuits [L. Lamata, Sci. Rep. 7, 1609 (2017)], in our current protocol coherent feedback during the learning process is not required, enabling its implementation in a wide variety of quantum systems. We consider diverse possible scenarios for an agent, an environment, and a register that connects them, involving multiqubit and multilevel systems, as well as open-system dynamics. We finally propose possible implementations of this protocol in trapped ions and superconducting circuits. The field of quantum reinforcement learning with quantum technologies will enable enhanced quantum control, as well as more efficient machine learning calculations.

研究の動機と目的

• 干渉的フィードバックを必要とする既存の量子強化学習プロトコルの制限を解消し、その適用範囲を拡大すること。
• 多様な量子系、特に多量子ビットおよび多準位アーキテクチャを対応可能な柔軟なフレームワークを構築すること。
• 開放系のダイナミクスを量子強化学習に統合し、現実の量子ハードウェアプラットフォームに適した運用を可能にすること。
• 捕獲イオンや超伝導回路などのスケーラブルな量子技術における実用的実装を促進すること。
• 一般化された学習プロトコルを通じて、量子制御および計算効率の向上により、量子機械学習分野を前進させること。

提案手法

• エージェント、環境、接続レジスタを、調整可能なコheren与エンタングルメントを持つ量子系としてモデル化するプロトコルを設計する。
• 測定に基づくフィードバックと測定結果の古典的処理を活用することで、学習プロセスを干渉的フィードバックの必要性から分離する。
• 実際のハードウェアにおけるデコherenceと散逸を考慮するため、開放量子系の形式を用いて学習ダイナミクスを定式化する。
• 環境との相互作用から得られる報酬信号に基づき、ポリシー更新を最適化するための量子制御技術を統合する。
• 量子レジスタを用いてエージェントと環境間の相互作用を仲介することで、スケーラブルかつモジュラーなシステム設計を実現する。
• ユニタリ変換と測定に基づくフィードバックを用いて、離散的および連続的アクション空間の両方をサポートするフレームワークに適応する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして量子強化学習を、学習ループ内で干渉的フィードバックを必要としない一般化された形に拡張できるか？
• RQ2 スケーラブルで頑健な量子強化学習プロトコルを実装するために、最小限の量子系の要件は何か？
• RQ3 開放系のダイナミクスを、現実の量子ハードウェアの制約を反映するために、どのように効果的に量子強化学習に統合できるか？
• RQ4 多量子ビットおよび多準位量子系は、量子強化学習の表現力と効率をどのように向上させられるか？
• RQ5 捕獲イオンや超伝導回路などの既存の量子技術において、提案されたプロトコルの実現可能な物理的実装は何か？

主な発見

• 提案されたプロトコルは、干渉的フィードバックを必要とせず、量子ハードウェアプラットフォームへの応用範囲を著しく拡大する。
• フレームワークは、多量子ビットおよび多準位系を含む多様な量子系アーキテクチャをサポートしており、柔軟性とスケーラビリティを向上させる。
• 開放系のダイナミクスが学習プロセスに自然に組み込まれており、デコherenceと散逸を示す現実の量子デバイスに適したプロトコルである。
• 捕獲イオンや超伝導回路における実装の具体的な提案が可能であり、既存の量子技術と互換性がある。
• このアプローチにより、量子制御が強化され、機械学習計算がより効率的になる。これにより、量子強化学習システムの可能性が前進する。
• エージェント、環境、レジスタのモジュラー統合が可能であり、将来的な複雑な学習タスクへの拡張を支援する。