[論文レビュー] Quantum Policy Gradient Algorithm with Optimized Action Decoding

Nico Meyer, Daniel D. Scherer+3 more|arXiv (Cornell University)|Dec 13, 2022

Quantum Computing Algorithms and Architecture被引用数 8

ひとこと要約

本稿では、強化学習における変分量子回路(VQC)における最適化された行動デコードを備えた量子ポリシー勾配アルゴリズムを提案する。量子測定結果の古典的後処理をガイドするためのグローバリティ測度を導入することで、ベンチマーク環境全体で訓練の安定性と性能が顕著に向上し、最小限の古典的オーバーヘッドで5キュービットのハードウェアに成功してデプロイ可能である。

ABSTRACT

Quantum machine learning implemented by variational quantum circuits (VQCs) is considered a promising concept for the noisy intermediate-scale quantum computing era. Focusing on applications in quantum reinforcement learning, we propose a specific action decoding procedure for a quantum policy gradient approach. We introduce a novel quality measure that enables us to optimize the classical post-processing required for action selection, inspired by local and global quantum measurements. The resulting algorithm demonstrates a significant performance improvement in several benchmark environments. With this technique, we successfully execute a full training routine on a 5-qubit hardware device. Our method introduces only negligible classical overhead and has the potential to improve VQC-based algorithms beyond the field of quantum reinforcement learning.

研究の動機と目的

• 変分量子回路(VQC)に基づく量子強化学習(QRL)における行動デコードの課題に取り組む。ここでは、量子測定結果の古典的後処理がポリシー性能に顕著に影響を与える。
• 測定結果から行動へのマッピングにおける後処理関数の有効性を定量化する品質指標「グローバリティ」を定義する。
• 大規模な行動空間における効率的でスケーラブルな行動デコードを実現し、従来のRAW-VQCなどの手法の制限を克服する。
• グローバリティ最適化された後処理関数を用いることで、ベンチマークRL環境における訓練収束性と性能が向上することを示す。
• 古典的計算オーバーヘッドを最小限に抑えつつポリシー性能を最大化することで、5キュービットのNISQハードウェア上でエンドツーエンドの訓練を可能にする。

提案手法

• 行動デコードを射影測定プロセスとして定式化し、計算基底における量子測定とその後の古典的後処理に分解する。
• 測定結果全体にわたる情報保持能力に基づき、後処理関数の有効性を評価・最適化するためのグローバリティ測度を導入する。
• 高いグローバリティを持つ後処理関数を構築するルーチンを提案し、最適ポリシー行動とより良い整合性を保証する。
• ポリシー推論とポリシー勾配更新の両方で同一の後処理関数を用いることで一貫性を維持する。
• ファイシャー情報行列(FIM)の固有値スペクトルと有効次元解析を用いてモデルの訓練可能性を評価し、グローバリティと最適化ダイナミクスの関連を明確にする。
• CartPole、FrozenLake、ContextualBandits環境において手法を検証し、5キュービットデバイスにおけるフルハードウェア訓練も実施する。

実験結果

リサーチクエスチョン

• RQ1 行動デコードのための古典的後処理関数の選択が、VQCベースの量子ポリシー勾配アルゴリズムの性能にどのように影響を与えるか？
• RQ2 量子強化学習における行動デコードの有効性を向上させるために、グローバリティ測度を定義・最適化できるか？
• RQ3 後処理関数の高いグローバリティが、RL環境における高速な収束性と高い期待報酬にどの程度相関するか？
• RQ4 特に小規模な量子モデルにおいて、パrameter空間にフィッシャー情報量を保持することで、バーレンプレートのリスクが低下するか？
• RQ5 最適化された行動デコード技術は、最小限の古典的オーバーヘッドでNISQハードウェアに効率的に実装可能か？

主な発見

• グローバリティ値の高い後処理関数を用いたポリシーは、CartPole、FrozenLake、ContextualBandits環境で顕著に高速な収束性と高い期待報酬を達成した。
• グローバリティ測度とRL性能の間には強い相関が観察され、グローバルな後処理関数は常にローカルなものよりも優れた性能を示した。
• 有効次元およびフィッシャー情報スペクトル解析により、高グローバリティ関数がより良好なパrameter空間幾何構造を維持しており、平坦性が低減され、訓練可能性が向上することが確認された。
• 4〜10キュービットのシステムで回路深さが増加するに従い、グローバリティ値1の後処理関数では、固有値の最大50％が10⁻⁷未満に集中し、高次元の退化と最適化可能性の欠如を示した。
• 一方、グローバル後処理関数（GC = 4）では、すべてのテスト設定でゼロに近い固有値の集中が顕著に少なく、10⁻⁷未満の固有値は1％未満にとどまった。
• ContextualBandits問題の完全な訓練ルーチンが5キュービットの量子ハードウェアデバイスで正常に実行され、本手法の実NISQ環境での実現可能性が実証された。