[論文レビュー] Controlled Online Optimization Learning (COOL): Finding the ground state of spin Hamiltonians with reinforcement learning

Kyle Mills, Pooya Ronagh+1 more|arXiv (Cornell University)|Feb 28, 2020

Neural Networks and Reservoir Computing参考文献 52被引用数 5

ひとこと要約

本論文は、スピンハミルトニアンにおける焼きなまし法の最適な温度スケジュールを自律的に学習する強化学習（RL）フレームワーク、制御オンライン最適化学習（COOL）を紹介する。プロキシマルポリシー最適化を用いて、RLエージェントは標準的なヒューリスティックスケジュールを上回り、ハミルトニアンのクラスにわたって一般化し、L=14²系において局所的最小値から脱出し基底状態に到達するため、温度を動的に調整することで、線形スケジュールと比較してほぼ2桁のスケーリング性能の向上を達成する。

ABSTRACT

Reinforcement learning (RL) has become a proven method for optimizing a procedure for which success has been defined, but the specific actions needed to achieve it have not. We apply the so-called "black box" method of RL to what has been referred as the "black art" of simulated annealing (SA), demonstrating that an RL agent based on proximal policy optimization can, through experience alone, arrive at a temperature schedule that surpasses the performance of standard heuristic temperature schedules for two classes of Hamiltonians. When the system is initialized at a cool temperature, the RL agent learns to heat the system to "melt" it, and then slowly cool it in an effort to anneal to the ground state; if the system is initialized at a high temperature, the algorithm immediately cools the system. We investigate the performance of our RL-driven SA agent in generalizing to all Hamiltonians of a specific class; when trained on random Hamiltonians of nearest-neighbour spin glasses, the RL agent is able to control the SA process for other Hamiltonians, reaching the ground state with a higher probability than a simple linear annealing schedule. Furthermore, the scaling performance (with respect to system size) of the RL approach is far more favourable, achieving a performance improvement of one order of magnitude on L=14x14 systems. We demonstrate the robustness of the RL approach when the system operates in a "destructive observation" mode, an allusion to a quantum system where measurements destroy the state of the system. The success of the RL agent could have far-reaching impact, from classical optimization, to quantum annealing, to the simulation of physical systems.

研究の動機と目的

• スピンガラス系における焼きなまし法の最適な温度スケジュールを自律的に学習する強化学習手法を開発すること。
• ハミルトニアンの構造を明示的に知らなくても、同じクラスに属する多様なハミルトニアンにわたって学習したポリシーを一般化できることを可能にすること。
• 古典的線形スケジュールと比較して、系のサイズに伴うスケーリング性能の向上を図ること。
• 量子的および物理的実験に類似した、破壊的観測条件下でのRLアプローチのロバストネスを評価すること。
• 強化学習が統計物理学における複雑な最適化タスクに対して、非自明で適応的な制御ポリシーを発見できることを示すこと。

提案手法

• 本手法は、焼きなまし法の過程で温度スケジュールを制御するためのプロキシマルポリシー最適化（PPO）エージェントを採用する。
• エージェントは各ステップで系のエネルギーとスピン配置を観測し、エネルギーを最小化することを目的とするマルコフ意思決定過程として処理する。
• 畳み込みニューラルネットワークを用いてスピン配置を処理し、価値関数とポリシーの推定を可能にすることで、系のサイズに応じたスケーラビリティを実現する。
• エージェントは試行錯誤を通じて学習し、最終状態が基底状態かどうかに基づくスパarsな報酬を受け取る。
• 訓練には、測定が系状態を崩壊させる状況をシミュレートする「破壊的観測」モードが用いられる。
• ポリシーは、近接スピンガラスや弱い-強いクラスターモデルを含む、固定およびランダムに生成されたハミルトニアンの両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアンの事前知識なしに、強化学習エージェントは焼きなまし法の有効な温度スケジュールを学習できるか？
• RQ2 同じスピンハミルトニアンクラスの異なるインスタンス間で、RLエージェントのポリシーはどの程度一般化できるか？
• RQ3 系のサイズが増加するに伴い、RLベースの焼きなまし法のスケーリング特性は、古典的線形スケジュールと比べてどうなるか？
• RQ4 測定が系状態を崩壊させる破壊的観測条件下で、RLエージェントの性能はいかがなっているか？
• RQ5 局所的最小値から脱出するために、冷却の前に加熱するといった非自明な戦略をRLエージェントが発見できるか？

主な発見

• RLエージェントは、複数のハミルトニアンクラスにわたって、基底状態に到達するという点で、標準的なヒューリスティックスケジュールを一貫して上回る。
• L=14²系において、RLアプローチは線形焼きなましスケジュールと比較して、ほぼ2桁の性能向上を達成する。
• エージェントは、低温で初期化された状態から局所的最小値を脱出するために、システムを加熱し、その後徐々に冷却することで基底状態に到達する戦略を学習する。
• トレーニング時に未確認の結合が設定されたランダムに生成されたハミルトニアンに対しても、ポリシーは同じクラス内での有効な一般化を示す。
• エージェントが学習した価値関数は、位相空間を直感的に表現しており、基底状態に近い配置に対して高い値を割り当てている。
• 破壊的観測条件下でも本手法はロバストであることが示され、測定が高コストまたは破壊的である物理的・量子的応用において実現可能であることを示している。