[論文レビュー] Framework for learning agents in quantum environments

Vedran Dunjko, Jacob M. Taylor+1 more|arXiv (Cornell University)|Jul 30, 2015

Quantum Computing Algorithms and Architecture参考文献 19被引用数 12

ひとこと要約

本稿は、量子環境と相互作用する学習エージェントのための量子フレームワークを提示し、特に『オラクル化された』または『制御可能』な環境によって量子重ね合わせが保持される場合、学習における量子高速化が可能であることを示している。主な結果は、環境の内部構造が相互作用履歴への重ね合わせ的アクセスを可能にすれば、特に間欠的なテスト環境下では、量子エージェントが古典的エージェントを上回る学習速度を達成できることである。

ABSTRACT

In this paper we provide a broad framework for describing learning agents in general quantum environments. We analyze the types of classically specified environments which allow for quantum enhancements in learning, by contrasting environments to quantum oracles. We show that whether or not quantum improvements are at all possible depends on the internal structure of the quantum environment. If the environments are constructed and the internal structure is appropriately chosen, or if the agent has limited capacities to influence the internal states of the environment, we show that improvements in learning times are possible in a broad range of scenarios. Such scenarios we call luck-favoring settings. The case of constructed environments is particularly relevant for the class of model-based learning agents, where our results imply a near-generic improvement.

研究の動機と目的

• 量子環境における学習エージェントの一般枠組みを確立し、古典的強化学習を完全に量子化されたエージェント・環境相互作用へと拡張すること。
• 環境に記憶や内部量子構造がある場合に、学習効率における量子的向上がどのような条件下で可能かを調査すること。
• 重ね合わせやもつれが古典的順序的相互作用の概念を曇らせる量子設定において、「履歴」を定義する基礎的問題を解決すること。
• 古典的テスト者が量子高速化を禁止する一方で、間欠的なテスト者が、監視されない相互作用フェーズを許容することで量子優位性を実現できることを示すこと。
• 'オラクル化された'および'制御可能な'環境を定義・分析し、それらが量子重ね合わせを保持することで、学習時間における量子高速化を可能にすること。

提案手法

• エージェントと環境が両方とも量子系である量子エージェント・環境相互作用モデルを導入し、量子力学に従うユニタリ操作によって相互作用を記述すること。
• テスト者を、相互作用を監視し、学習の成功を判断する第三者観測者として定義し、古典的テスト者（履歴を完全に記録）と間欠的テスト者（監視されない期間を許容）を区別すること。
• エージェントにすべての関連量子レジスタを返す『オラクル化された環境』$E_{\text{oracle}}$を提唱し、量子計算における標準オラクルを一般化すること。
• エージェントが内部状態にアクセス・操作できる『制御可能な環境』$E_{\text{control}}$を導入し、古典的エージェントとの公平な比較を可能にすること。
• 密度行列を用いて、エージェント、環境、古典的レジスタの結合状態をモデル化し、古典的テスト下では量子状態が古典的シミュレーションと同型に進化することを示すこと。
• 数学的帰納法を用いて、古典的テスト下では量子エージェントと古典的エージェントが同一の履歴を生成することを証明し、このような設定では量子高速化が不可能であることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 量子環境下で、量子エージェントが古典的エージェントを上回る学習速度を達成できる条件は何か？
• RQ2 量子環境の内部構造が、学習における量子高速化の可能性にどのように影響するか？
• RQ3 重ね合わせやもつれがある完全に量子的なエージェント・環境相互作用において、「履歴」という意味のある概念を定義できるか？
• RQ4 なぜ古典的テスト者が量子高速化を禁止するのか？また、どのような状況で間欠的テスト者が量子優位性を実現できるのか？
• RQ5 具体的に『オラクル化された』または『制御可能な』環境は、どのような種類のものか？それらは学習時間における量子強化を可能にするか？

主な発見

• テスト者が相互作用履歴を完全に記録する場合、量子高速化は不可能である。これは、量子状態が崩壊し、重ね合わせに基づく利点が失われるためである。
• 監視されない相互作用フェーズを許容する間欠的テスト者により、学習中における量子重ね合わせが保持され、量子高速化が可能になる。
• すべての関連量子レジスタをエージェントに返すオラクル化された環境は、特にモデルベース学習の文脈において、学習時間における量子高速化を可能にする。
• 制御可能な環境は、環境の元来の挙動を保持しつつ、量子強化型アクセスを可能にすることで、古典的エージェントと量子エージェントの公平な比較を可能にする。
• このフレームワークにより、古典的テスト下では量子エージェントと古典的エージェントが同一の履歴を生成することを証明し、量子優位性は特定のテスト者および環境条件のもとでのみ可能であることを確認した。
• 本稿は、古典的テスト下では量子状態が古典的シミュレーションと同型に進化することを形式的帰納的証明により確立し、このような設定では量子高速化が排除されることを示した。