[論文レビュー] Quantum Machine Learning Architecture Search via Deep Reinforcement Learning

Xin Dai, Tzu-Chieh Wei+2 more|arXiv (Cornell University)|Jul 29, 2024

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

本論文では、教師あり分類タスク向けに最適な変分量子回路（VQC）アーキテクチャを自動で探索するための深層強化学習フレームワーク、RL-QMLASを提案する。適応的学習ターゲット機構を用いることで、事前の物理的知識がなくても高精度で低深さの量子回路を発見でき、パrameter数がはるかに少ないにもかかわらず、古典的モデルと同等の性能を達成する。

ABSTRACT

The rapid advancement of quantum computing (QC) and machine learning (ML) has given rise to the burgeoning field of quantum machine learning (QML), aiming to capitalize on the strengths of quantum computing to propel ML forward. Despite its promise, crafting effective QML models necessitates profound expertise to strike a delicate balance between model intricacy and feasibility on Noisy Intermediate-Scale Quantum (NISQ) devices. While complex models offer robust representation capabilities, their extensive circuit depth may impede seamless execution on extant noisy quantum platforms. In this paper, we address this quandary of QML model design by employing deep reinforcement learning to explore proficient QML model architectures tailored for designated supervised learning tasks. Specifically, our methodology involves training an RL agent to devise policies that facilitate the discovery of QML models without predetermined ansatz. Furthermore, we integrate an adaptive mechanism to dynamically adjust the learning objectives, fostering continuous improvement in the agent's learning process. Through extensive numerical simulations, we illustrate the efficacy of our approach within the realm of classification tasks. Our proposed method successfully identifies VQC architectures capable of achieving high classification accuracy while minimizing gate depth. This pioneering approach not only advances the study of AI-driven quantum circuit design but also holds significant promise for enhancing performance in the NISQ era.

研究の動機と目的

• ノイズの多い中規模量子（NISQ）デバイス上で効果的な量子機械学習（QML）モデルを設計する課題に対処すること。これは熟練した知識を要し、モデルの複雑さとハードウェアの実現可能性のバランスを取る必要がある。
• 手作業で設計されたアーキテクチャ（アンザッツ）に依存せずに、教師あり学習タスク向けに変分量子回路（VQC）アーキテクチャを自動で設計すること。
• トレーニング中に学習目標を動的に調整することで、量子アーキテクチャ探索の効率性とスケーラビリティを向上させること。
• 強化学習ベースの探索が、現在のノイズの多い量子ハードウェアに適した、高精度で浅い回路のVQCを生成できることを示すこと。
• 古典的モデルと比較して、量子分類器のパrameter化の負担を軽減し、実用性を高めること。

提案手法

• フレームワークは、分類タスク用のVQCアーキテクチャを構成する量子ゲートシーケンスを探索・生成するための深層強化学習（RL）エージェントを採用する。
• RLエージェントは、分類精度に基づく報酬信号を用いてトレーニングされ、学習の進行を維持するため、必要とされる精度の閾値を動的に上昇させる適応的学習ターゲットを備えている。
• アーキテクチャ探索は、ゲートタイプ（単一キュービット回転とエンタングルメントCNOTゲート）およびキュービット接続性によって定義された離散的アクション空間で実施される。
• エージェントのポリシーネットワークは、連続的および離散的制御タスクに適した安定した深層RLアルゴリズムであるプロキシマルポリシー最適化（PPO）を用いてトレーニングされる。
• 事前に定義されたアンザッツ構造を避けることで、新しい、タスク固有の回路設計の発見が可能になる。
• 訓練中に報酬を動的に調整するメカニズムを統合することで、早期収束を防ぎ、高性能なアーキテクチャの探索を促進する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、事前の物理的知識がなくても、分類タスク向けに高パフォーマンスのVQCアーキテクチャを効果的に発見できるか？
• RQ2 適応的学習ターゲット機構は、強化学習ベースの量子アーキテクチャ探索の収束性とパフォーマンスをどのように向上させるか？
• RQ3 RL-QMLASは、浅くパrameter数が少ないVQCをどれほど効果的に生成できるか？その性能は古典的機械学習モデルと同等か、それを上回るか？
• RQ4 本フレームワークは、make_classificationやmake_moonsのような複雑さの異なるさまざまなデータセットに、どの程度一般化可能か？
• RQ5 ノイズやハードウェア制約は、RLで発見された回路の実際のNISQデバイス上での実装可能性にどのような影響を及えるか？

主な発見

• RL-QMLASフレームワークは、4次元のmake_classificationデータセットで90.3％の分類精度を達成し、ロジスティック回帰やSVMモデルと同等の性能を示した。
• 2次元のmake_moonsデータセットでは、わずか2つの量子ゲートで100％の精度を達成し、SVMが44個のサポートベクトルを必要としたのと同等の性能を示した。
• ロジスティック回帰の5パrameterとSVMの110個のサポートベクトルと比較して、量子分類器はたった2つのゲートで済み、極めて高いパrameter効率性を示した。
• 適応的学習ターゲット機構により、トレーニングの安定性が向上し、高い初期ターゲット精度に依存せずに、より高い精度に到達できるようになった。
• フレームワークは、ゲート深さが最小限の浅い回路を生成したため、現在のノイズの多い量子ハードウェアで実行可能である。
• 数値シミュレーションにより、エージェントがアンザッツ設計なしに効果的でタスク固有のVQCアーキテクチャを発見でき、熟練者の干渉を最小限に抑えられることを確認した。