[논문 리뷰] Variational Quantum Soft Actor-Critic for Robotic Arm Control

Alberto Acuto, Paola Barillà외 4명|arXiv (Cornell University)|2022. 12. 20.

Quantum Computing Algorithms and Architecture인용 수 8

한 줄 요약

이 논문은 로봇 팔 제어를 위한 변동형 양자 소프트 액터-크리틱(QSAC) 알고리즘을 제안한다. 이 알고리즘은 변동형 양자 회로(VQCs)를 소프트 액터-크리틱 강화학습 프레임워크에 통합하여, 기존의 신경망 대신 양자-고전 하이브리드 아키텍처를 사용함으로써 학습 가능한 파라미터 수를 기존의 클래스컬 SAC 대비 100배 감소시켰지만 동일한 성능을 유지함으로써, 파라미터 효율성 측면에서 뚜렷한 양자 우월성을 입증한다.

ABSTRACT

Deep Reinforcement Learning is emerging as a promising approach for the continuous control task of robotic arm movement. However, the challenges of learning robust and versatile control capabilities are still far from being resolved for real-world applications, mainly because of two common issues of this learning paradigm: the exploration strategy and the slow learning speed, sometimes known as "the curse of dimensionality". This work aims at exploring and assessing the advantages of the application of Quantum Computing to one of the state-of-art Reinforcement Learning techniques for continuous control - namely Soft Actor-Critic. Specifically, the performance of a Variational Quantum Soft Actor-Critic on the movement of a virtual robotic arm has been investigated by means of digital simulations of quantum circuits. A quantum advantage over the classical algorithm has been found in terms of a significant decrease in the amount of required parameters for satisfactory model training, paving the way for further promising developments.

연구 동기 및 목표

• 양자 기계학습이 로봇 제어를 위한 딥 강화학습에서 샘플 효율성과 파라미터 효율성을 향상시킬 수 있는지 조사하기.
• 시뮬레이션된 로봇 팔을 사용한 연속 제어 과제에서 하이브리드 양자-고전 강화학습의 성능 평가하기.
• 변동형 양자 회로(VQCs)를 소프트 액터-크리틱(SAC) 알고리즘의 다양한 구성 요소—특히 액터, 크리틱, 그리고 둘 다—에 통합했을 때의 영향 평가하기.
• 로봇 조작 과제에서 모델 복잡도 감소와 빠른 수렴을 고려할 때 양자 우위가 나타나는지 확인하기.

제안 방법

• 본 연구는 세 가지 하이브리드 QSAC 변종을 구현한다: 양자 액터를 갖춘 경우, 양자 크리틱을 갖춘 경우, 그리고 액터와 크리틱 모두를 변동형 양자 회로(VQCs)로 대체한 경우.
• 양자 회로는 상태-행동 쌍을 양자 상태로 인코딩하기 위해 데이터 재업로드 기반의 파arameterized 양자 회로(PQCs)로 디지털로 시뮬레이션된다.
• 비교를 위해 고전적 딥 신경망을 기준선으로 사용하며, 공정한 평가를 위해 하이퍼파ram터를 정밀하게 일치시킨다.
• SAC 알고리즘은 양자 회로를 정책 및 가치 함수 근사에 사용하도록 수정되었으며, 양자 회로 파라미터 학습에는 고전적 최적화(Adam)가 사용된다.
• 양자 회로는 단일 큐비트 회전과 얽힘 게이트를 다수의 레이어로 구성하여 최소한의 큐비트로도 높은 표현력을 확보하도록 설계되었다.
• 성능는 누적 수익과 학습 안정성으로 측정되며, 연속 제어 벤치마크를 사용한 2D 로봇 팔 시뮬레이션 환경에서 학습이 수행되었다.

실험 결과

연구 질문

• RQ1 소프트 액터-크리틱 알고리즘에 변동형 양자 회로를 통합함으로써 로봇 팔 제어에서 샘플 효율성 향상과 파라미터 수 감소를 달성할 수 있는가?
• RQ2 동일한 수의 학습 가능한 파라미터를 사용할 때, 양자 강화된 크리틱 구성 요소가 고전적 대안보다 성능 우위를 점할 수 있는가?
• RQ3 액터와 크리틱 네트워크 양쪽 모두에 양자 회로를 사용했을 때 전체 학습 역학과 최종 정책 성능에 어떤 영향을 미치는가?
• RQ4 양자 회로가 강화학습의 연속 제어 과제에서 요구하는 비선형 함수 근사 기능을 효과적으로 모델링할 수 있는가?
• RQ5 특히 차원의 극복 문제의 맥락에서, 파라미터 수를 늘일 경우에도 양자 우위가 유지되는가?

주요 결과

• 액터와 크리틱 네트워크 양쪽 모두에 VQCs를 사용하는 '전체 양자 SAC'는 기존의 고전적 SAC와 동일한 성능을 달성하면서 학습 가능한 파라미터 수를 약 100배 감소시켰다.
• 양자 강화된 크리틱만으로도 뚜렷한 이점이 나타났으며, 기존의 고전적 SAC와 동일한 성능을 유지하면서 필요한 파라미터 수를 약 6배 감소시켰다.
• 오직 액터 네트워크만 VQC로 대체했을 경우는 양자 우위가 관찰되지 않았으며, 이는 크리틱 구성 요소가 양자 강화에 더 민감함을 시사한다.
• 양자 회로의 성능 향상 요인은 특히 가치 함수 추정에서 VQCs의 높은 표현력 때문임이 밝혀졌다.
• 결과적으로, 최소한의 파라미터로도 양자 회로가 복잡한 가치 함수와 정책 함수를 효과적으로 모델링할 수 있으며, 이는 더 효율적인 RL 학습 방향을 제시한다.
• 향후 물리적 양자 하드웨어에 구현할 경우 노이즈와 분해에 대한 내성 평가를 위해 진폭 인코딩 기법의 적용 잠재력도 제시된다.