[논문 리뷰] Quantum Ground States from Reinforcement Learning

Ariel Barr, Willem Gispen외 1명|arXiv (Cornell University)|2020. 06. 16.

Quantum, superfluid, helium dynamics참고 문헌 49인용 수 5

한 줄 요약

이 논문은 파울리-파인만–카츠 표현을 통해 확률적 경로의 최적 제어 문제로 환원함으로써 양자 기저 상태를 계산하기 위한 강화 학습 접근법을 제안한다. 신경망을 학습시켜 경로 적분 궤적에 대한 중요도 샘플링기로 작용하는 최적의 드리프트 필드를 학습하며, 수소, 헬륨, 수소 분자에 대해 정확한 값과 0.3% 이내의 에너지 예측을 달성한다.

ABSTRACT

Finding the ground state of a quantum mechanical system can be formulated as an optimal control problem. In this formulation, the drift of the optimally controlled process is chosen to match the distribution of paths in the Feynman--Kac (FK) representation of the solution of the imaginary time Schr\"odinger equation. This provides a variational principle that can be used for reinforcement learning of a neural representation of the drift. Our approach is a drop-in replacement for path integral Monte Carlo, learning an optimal importance sampler for the FK trajectories. We demonstrate the applicability of our approach to several problems of one-, two-, and many-particle physics.

연구 동기 및 목표

• 깊이 학습을 활용하여 양자 다체 문제의 지수적 스케일링 문제를 해결하고 효율적인 기저 상태 근사화를 달성하기 위해.
• 허무한 시간 슈뢰딩거 방정식을 사용하여 양자 기저 상태 계산 문제를 최적 제어 문제로 재구성하기 위해.
• 파울리-파인만–카츠 경로를 위한 최적의 중요도 샘플링 분포를 학습하는 유연한, 미분 가능한 강화 학습 프레임워크를 개발하기 위해.
• 학습된 드리프트 필드를 통해 더 높은 샘플링 효율성을 제공하는 경로 적분 몬테카를로의 즉시 교체 가능한 대체 방법을 제공하기 위해.
• 양자 상태의 확률적 과정 표현을 사용하여 슈뢰딩거 그림을 초월한 딥 러닝 방법을 확장하기 위해.

제안 방법

• 파울리-파인만–카츠 공식을 사용하여 기저 상태를 허무한 시간 슈뢰딩거 방정식의 해로 공식화한다.
• 잠재력에 의존하는 가중치가 있는 브라운 운동 경로에 대한 기댓값으로 해를 표현함으로써 확률적 샘플링을 가능하게 한다.
• 최적 제어 이론을 사용하여 경로 적분 추정치의 분산을 최소화하는 드리프트 필드를 유도하며, 이는 최적의 중요도 샘플링기와 대응한다.
• 경로 가중치 분산 감소를 기반으로 한 보상 신호를 사용하여 강화 학습을 통해 드리프트 필드를 표현하는 신경망(PAIRDRIFT)을 훈련시킨다.
• 확률적 미분 방정식(SDEs)을 사용하여 학습된 드리프트 하에서 경로를 시뮬레이션하며, 궤적을 통해 역전파가 가능한 미분 가능성을 확보한다.
• 전자-핵 및 전자-전자 코어 조건을 모델링하기 위해 스킵 연결을 갖춘 잔차 신경망 아키텍처를 사용하여 연속 공간 시스템에 적용한다.

실험 결과

연구 질문

• RQ1 강화 학습을 사용하여 신경망이 파울리-파인만–카츠 경로를 위한 최적의 중요도 샘플링 분포를 학습시킬 수 있는가?
• RQ2 이 RL 기반 경로 샘플링의 성능은 전통적인 경로 적분 몬테카를로와 비교해 에너지 정확도 및 분산 감소 측면에서 어떻게 되는가?
• RQ3 이 방법은 명시적 파동함수 앤사즈에 의존하지 않고도 한, 두, 다체 양자 시스템의 고정밀 기저 상태 에너지를 달성할 수 있는가?
• RQ4 학습된 드리프트 필드가 원자 및 분자 시스템에서 전자 상관관계 및 코어 조건과 같은 물리적 특성을 어느 정도 잘 포착할 수 있는가?
• RQ5 이 방법은 상호작용하는 보존들이 트랩에 갇힌 경우나 다양한 결합 길이를 갖는 분자 등 다양한 양자 시스템에 대해 확장 가능하고 일반화 가능한가?

주요 결과

• 수소 원자, 헬륨 원자, 평형 및 늘어난 기하학적 구조에서 수소 분자에 대해 수치적으로 정확한 값과 0.3% 이내의 기저 상태 에너지 예측을 달성하였다.
• R = 2.8(늘어난 경우)에서 수소 분자의 경우 예측 에너지는 정확한 값으로부터 0.3% 떨어져 있었으며, 분자의 왜곡에 대한 강건성을 입증하였다.
• 스킵 연결을 갖춘 PAIRDRIFT 신경망 아키텍처는 전자-전자 및 전자-핵 코어 행동을 성공적으로 포착하여 상관관계가 있는 시스템에서 정확도를 향상시켰다.
• 유한 범위 상호작용을 갖는 2D 조화 트랩 내 N = 2, 3, 4개의 보존에 대해, 모든 시험 상호작용 강도 및 범위에서 정확한 대각화 결과와 1% 이내로 재현하였다.
• 상호작용하는 보존의 경우 학습된 드리프트 필드는 입자를 떨어지게 하는 경향을 보였으며, 물리적 직관과 상관 효과와 일치하였다.
• 최적 제어를 통한 기저 상태 근사화에 대한 변분 원리를 제공하며, SDEs를 통해 궤적 샘플링 정책의 미분 가능한 훈련을 가능하게 하였다.