[논문 리뷰] Controlled Online Optimization Learning (COOL): Finding the ground state of spin Hamiltonians with reinforcement learning

Kyle Mills, Pooya Ronagh외 1명|arXiv (Cornell University)|2020. 02. 28.

Neural Networks and Reservoir Computing참고 문헌 52인용 수 5

한 줄 요약

이 논문은 스핀 하미르토니안에서 시뮬레이티드 어닐링을 위한 최적의 온도 스케줄을 자동으로 학습할 수 있는 강화학습(RL) 프레임워크인 제어 온라인 최적화 학습(COOL)을 소개한다. 프록시미티 정책 최적화를 사용하여, RL 에이전트는 표준 히우리스틱 스케줄을 능가하고, 하미르토니안 클래스 간에 일반화하며, L=14² 시스템에서 국소 최소값을 벗어나 기저 상태에 도달하기 위해 온도를 동적으로 조정함으로써 거의 두 개의 지수 단위 더 나은 스케일링 성능을 달성한다.

ABSTRACT

Reinforcement learning (RL) has become a proven method for optimizing a procedure for which success has been defined, but the specific actions needed to achieve it have not. We apply the so-called "black box" method of RL to what has been referred as the "black art" of simulated annealing (SA), demonstrating that an RL agent based on proximal policy optimization can, through experience alone, arrive at a temperature schedule that surpasses the performance of standard heuristic temperature schedules for two classes of Hamiltonians. When the system is initialized at a cool temperature, the RL agent learns to heat the system to "melt" it, and then slowly cool it in an effort to anneal to the ground state; if the system is initialized at a high temperature, the algorithm immediately cools the system. We investigate the performance of our RL-driven SA agent in generalizing to all Hamiltonians of a specific class; when trained on random Hamiltonians of nearest-neighbour spin glasses, the RL agent is able to control the SA process for other Hamiltonians, reaching the ground state with a higher probability than a simple linear annealing schedule. Furthermore, the scaling performance (with respect to system size) of the RL approach is far more favourable, achieving a performance improvement of one order of magnitude on L=14x14 systems. We demonstrate the robustness of the RL approach when the system operates in a "destructive observation" mode, an allusion to a quantum system where measurements destroy the state of the system. The success of the RL agent could have far-reaching impact, from classical optimization, to quantum annealing, to the simulation of physical systems.

연구 동기 및 목표

• 스핀 거친 시스템에서 시뮬레이티드 어닐링을 위한 최적의 온도 스케줄을 자동으로 학습할 수 있는 강화학습 방법을 개발하는 것.
• 하미르토니안의 구조에 대한 명시적 지식 없이도, 동일한 클래스 내 다양한 하미르토니안에 대해 학습된 정책의 일반화를 가능하게 하는 것.
• 기존의 선형 스케줄과 비교해 시스템 크기에 따른 스케일링 성능을 향상시키는 것.
• 측정이 파괴적인 조건에서의 RL 접근법의 견고성 평가를 통해 양자 및 물리 실험에 관련된 맥락을 고려하는 것.
• 강화학습이 통계역학 분야의 복잡한 최적화 과제에 대해 비트레이스러운 적응형 제어 정책을 발견할 수 있음을 보여주는 것.

제안 방법

• 시뮬레이티드 어닐링 동안 온도 스케줄을 제어하기 위해 훈련된 프록시미티 정책 최적화(PPO) 에이전트를 사용하는 방법.
• 에이전트는 각 단계에서 시스템의 에너지와 스핀 구성 상태를 관측하며, 목표가 에너지를 최소화하는 마르코프 결정 과정으로 간주한다.
• 스핀 구성 상태를 처리하기 위해 컨볼루션 신경망을 사용하여 가치 함수와 정책을 추정함으로써 시스템 크기에 따라 확장 가능한 성능을 달성한다.
• 에이전트는 시행착오를 통해 학습하며, 최종 상태가 기저 상태인지 여부에 따라 희박한 보상을 수신한다.
• 훈련 과정에서 '파괴적인 관측' 모드를 사용하여, 시스템 상태가 붕괴하는 상황을 시뮬레이션한다.
• 정책은 고정된 및 무작위로 생성된 하미르토니안 모두에서 평가되며, 이는 근접한 이웃 스핀 거친 시스템과 약한-강한 클러스터 모델을 포함한다.

실험 결과

연구 질문

• RQ1 하미르토니안에 대한 사전 지식 없이 강화학습 에이전트가 시뮬레이티드 어닐링을 위한 효과적인 온도 스케줄을 학습할 수 있는가?
• RQ2 RL 에이전트는 동일한 스핀 하미르토니안 클래스의 다양한 인스턴스 간에 정책을 얼마나 잘 일반화하는가?
• RQ3 시스템 크기가 증가함에 따라, 기존의 선형 스케줄과 비교해 RL 기반 어닐링 접근법의 스케일링 행동은 어떠한가?
• RQ4 측정이 시스템 상태를 붕괴시키는 파괴적인 관측 조건 하에서 RL 에이전트의 성능은 어떠한가?
• RQ5 RL 에이전트는 국소 최소값을 벗어나기 위해 냉각 이전에 가열하는 비트레이스러운 전략을 발견할 수 있는가?

주요 결과

• RL 에이전트는 다양한 하미르토니안 클래스 전반에서 기저 상태에 도달하는 데 있어 표준 히우리스틱 온도 스케줄을 일관되게 능가한다.
• L=14² 시스템에서, RL 접근법은 선형 어닐링 스케줄 대비 거의 두 개의 지수 단위 성능 향상을 달성한다.
• 에이전트는 낮은 온도에서 초기화된 상태에서 시스템을 가열하여 국소 최소값을 벗어나고, 이후 천천히 냉각하여 기저 상태에 도달하는 전략을 학습한다.
• 학습 중에 볼 수 없었던 무작위로 생성된 결합을 가진 새로운 하미르토니안에 대해서도 정책은 효과적으로 일반화된다.
• 에이전트가 학습한 가치 함수는 위상 공간을 직관적으로 표현하며, 기저 상태에 가까운 구성 상태에 더 높은 가치를 할당한다.
• 에이전트의 방법은 파괴적인 관측 조건에서도 견고성을 유지하여, 측정이 비용이 많이 들거나 파괴적인 물리 및 양자 응용 분야에서의 실현 가능성을 보여준다.