[논문 리뷰] Quantum Policy Gradient Algorithm with Optimized Action Decoding

Nico Meyer, Daniel D. Scherer외 3명|arXiv (Cornell University)|2022. 12. 13.

Quantum Computing Algorithms and Architecture인용 수 8

한 줄 요약

이 논문은 강화학습에서 변이 양자 회로(VQC)에 적합한 최적화된 동작 복원 기반의 양자 정책 그래เดียน트 알고리즘을 제안한다. 양자 측정 결과의 고전적 후처리를 안내하기 위해 전역성 측도를 도입함으로써, 벤치마크 환경 전반에서 훈련 안정성과 성능이 크게 향상되었으며, 최소한의 고전적 오버헤드로 5 큐비트 하드웨어에 성공적으로 구현할 수 있었다.

ABSTRACT

Quantum machine learning implemented by variational quantum circuits (VQCs) is considered a promising concept for the noisy intermediate-scale quantum computing era. Focusing on applications in quantum reinforcement learning, we propose a specific action decoding procedure for a quantum policy gradient approach. We introduce a novel quality measure that enables us to optimize the classical post-processing required for action selection, inspired by local and global quantum measurements. The resulting algorithm demonstrates a significant performance improvement in several benchmark environments. With this technique, we successfully execute a full training routine on a 5-qubit hardware device. Our method introduces only negligible classical overhead and has the potential to improve VQC-based algorithms beyond the field of quantum reinforcement learning.

연구 동기 및 목표

• 변이 양자 회로(VQC) 기반의 양자 강화학습(QRL)에서 고전적 후처리가 정책 성능에 미치는 영향이 크므로, 동작 복원의 과제를 해결한다.
• 측정 결과에서 행동로 매핑하는 후처리 함수의 효과를 수량화하는 품질 측도인 전역성(globality)을 개발한다.
• 큰 행동 공간에 대해 효율적이고 확장 가능한 동작 복원을 가능하게 하여, 이전 방법(예: RAW-VQC)의 한계를 극복한다.
• 전역성 최적화 후처리 함수를 사용하여, 벤치마크 강화학습 환경에서 훈련 수렴성과 성능을 향상시킨다.
• 최소한의 고전적 계산 오버헤드로 5 큐비트 NISQ 하드웨어에서 엔드 투 엔드 훈련을 가능하게 한다.

제안 방법

• 동작 복원을 사영 측정 과정으로 공식화하며, 이는 계산 기저에서의 양자 측정과 고전적 후처리로 분해된다.
• 측정 결과 전역성 보존 능력을 기반으로 후처리 함수의 평가 및 최적화를 위한 전역성 측도를 도입한다.
• 최적 정책 행동과의 더 나은 일치를 보장하기 위해 높은 전역성을 갖는 후처리 함수를 구성하는 절차를 제안한다.
• 정책 추론과 정책 그래데이언트 업데이트 동안 동일한 후처리 함수를 사용하여 일관성을 유지한다.
• 모델 훈련 가능성 평가 및 전역성과 최적화 역학 간의 관계를 분석하기 위해 피셔 정보 행렬(FIM) 스펙트럼과 유효 차원 분석을 적용한다.
• CartPole, FrozenLake, ContextualBandits 환경에서 방법을 검증하였으며, 5 큐비트 장치에서의 완전한 하드웨어 훈련도 수행하였다.

실험 결과

연구 질문

• RQ1 동작 복원을 위한 고전적 후처리 함수의 선택이 VQC 기반 양자 정책 그래데이언트 알고리즘 성능에 미치는 영향은 어떠한가?
• RQ2 양자 강화학습에서 동작 복원의 효과를 향상시키기 위해 전역성 측도를 정의하고 최적화할 수 있는가?
• RQ3 후처리 함수의 높은 전역성과 강화학습 환경에서의 더 빠른 수렴성 및 더 높은 기대 보상 간의 상관관계는 어느 정도인가?
• RQ4 특히 소규모 양자 모델에서 파라미터 공간에 있는 피셔 정보를 유지함으로써, 제안된 방법이 비옥한 평평한 평면(바렌 플레이트aux)의 위험을 줄이는가?
• RQ5 최소한의 고전적 오버헤드로 NISQ 하드웨어에서 최적화된 동작 복원 기법을 효율적으로 구현할 수 있는가?

주요 결과

• 전역성 값이 높은 후처리 함수를 갖는 정책은 CartPole, FrozenLake, ContextualBandits 환경에서 빠른 수렴성과 더 높은 기대 보상을 달성했다.
• 전역성 측도와 강화학습 성능 사이에 강한 상관관계가 관찰되었으며, 전역 후처리 함수는 항상 국소 후처리 함수를 능가했다.
• 유효 차원과 피셔 정보 스펙트럼 분석 결과, 높은 전역성 함수는 더 유리한 매개변수 공간 기하학을 유지함으로써 평탄함을 감소시키고 훈련 가능성을 향상시켰다.
• 4~10 큐비트 시스템에서 회로 깊이가 증가함에 따라, 전역성 값이 1인 후처리 함수는 최대 50%의 고유값이 10⁻⁷ 이하에 집중되어 있어, 고도의 디제너레이션과 낮은 최적화 잠재력이 있음을 시사했다.
• 반면, 전역 후처리 함수(GC = 4)는 모든 테스트 구성에서 0에 가까운 고유값 집중이 거의 없었으며, 10⁻⁷ 이하의 고유값 비율이 1% 미만이었다.
• ContextualBandits 문제에 대한 전체 훈련 루틴이 5 큐비트 양자 하드웨어 장치에서 성공적으로 실행되어, 실질적인 NISQ 환경에서의 방법 타당성을 입증했다.