[論文レビュー] Optimal control of nonequilibrium systems through automatic differentiation

Megan C. Engel, Jamie Smith+1 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Thermodynamics and Statistical Mechanics被引用数 4

ひとこと要約

本稿は、自動微分（AD）を用いて、非平衡系における散逸仕事の最小化を実現する、画期的な最適制御フレームワークを提案する。この手法は、平衡から著しく離れた状態でも有効であり、磁化反転や障壁を越える現象のような複雑な系において、高精度な最適化を可能にする。近似理論に比べて優れた性能を示し、特に高障壁領域では、エネルギー障壁の周辺で加速し、その後減速する非自明な制御プロトコル形状を明らかにする。

ABSTRACT

Controlling the evolution of nonequilibrium systems to minimize dissipated heat or work is a key goal for designing nanodevices, both in nanotechnology and biology. Progress in computing optimal protocols has thus far been limited to either simple systems or near-equilibrium evolution. Here, we present an approach for computing optimal protocols based on automatic differentiation. Our methodology is applicable to complex systems and multidimensional protocols and is valid arbitrarily far from equilibrium. We validate our method by reproducing theoretical optimal protocols for a Brownian particle in a time-varying harmonic trap. We also compute departures from near-equilibrium behaviour for magnetization reversal on an Ising lattice and for barrier crossing driven by a harmonic trap, which has been used to represent a range of biological processes including biomolecular unfolding reactions. Algorithms based on automatic differentiation outperform the near-equilibrium theory for far-from-equilibrium magnetization reversal and driven barrier crossing. The optimal protocol for crossing an energy landscape barrier of 10kT is found to hasten the approach to, and slow the departure from, the barrier region compared to the near-equilibrium theoretical protocol.

研究の動機と目的

• 従来の手法が失敗するような、複雑で非平衡に近い系において、一般用途の最適制御プロトコルを計算するための手法を開発すること。
• 近平衡近似の限界を克服し、低エネルギー障壁系に限定される近平衡理論の適用範囲を超えること。
• ナノ磁性体やバイオ分子のような系において、熱力学的仕事と熱の散逸を高精度で最適化できること。
• イジング模型の磁化反転やブラウン運動における障壁越えといった、代表的な非平衡問題に対して、本手法の有効性を示すこと。
• 非平衡に近い状態において、線形応答理論の予測とは著しく異なる非自明なプロトコル構造が出現することを明らかにすること。

提案手法

• 全確率的シミュレーションを逆伝播することで、プロトコルパラメータに関する平均散逸仕事の勾配を自動微分（AD）により計算する。
• 2次元イジング模型のモンテカルロ（MC）シミュレーションにADを適用し、磁化反転プロトコルを最適化する。
• 時間変動する調和ポテンシャル内のブラウン運動粒子の分子動力学（MD）シミュレーションにADを適用し、解析的に知られている最適プロトコルを再現する。
• ノイズを確率変数の決定的関数として扱う再パラメータ化テクニックを用い、過減衰ランジュバン力学における効率的な勾配計算を可能にする。
• バッチ処理による軌道サンプリングと、滑らかで適応可能な制御プロファイルを実現するための区分的多項式パラメータ化（例：チェビシェフ多項式）を用いて、Adam最適化法でプロトコルを最適化する。
• 高障壁系では、直接的な逆伝播が不安定になる場合に備え、REINFORCE法を適用して勾配推定を改善する。

実験結果

リサーチクエスチョン

• RQ1 近平衡近似が破綻するような、複雑で非平衡に近い系において、最適制御プロトコルをどのように計算できるか。
• RQ2 非平衡領域における最適プロトコルと線形応答理論が予測するプロトコルとの間には、構造的にどのような相違が生じるか。
• RQ3 自動微分が、イジング模型やバイオ分子的障壁越えのような系において、散逸仕事の正確で効率的な最適化を可能にするか。
• RQ4 エネルギー障壁の高さが近平衡限界を超えて増加するに従い、最適プロトコルの形状はどのように変化するか。
• RQ5 高散逸・高障壁状態において、ADベースのプロトコルは近平衡理論的プロトコルをどの程度上回るか。

主な発見

• 2次元イジング模型では、ADベースのプロトコルは線形領域では近平衡理論と一致するが、非平衡領域では著しく優れており、散逸仕事を低減する。
• 時間変動する調和ポテンシャル内のブラウン運動粒子において、本手法は解析的に知られている最適プロトコルを正確に再現でき、その正確性を裏付けた。
• 10 $k_{\text{B}}T$ の障壁越えにおいて、最適プロトコルは粒子を障壁領域へ加速し、その後の脱出を遅らせるという、近平衡プロトコルとは著しく異なる形状を示した。
• AD手法は高障壁系における非自明なプロトコルダイナミクスを捉え、最適制御が単に平衡挙動の摂動ではないことを明らかにした。
• 10 $k_{\text{B}}T$ 障壁ケースでは、REINFORCE法が直接勾配推定に比べて収束を改善し、高散逸領域における信頼性のある最適化を可能にした。
• 本手法は、任意の複雑さと非平衡ダイナミクスを持つ系において、複雑で多次元的なプロトコルの効率的最適化を可能にし、従来の解析的または近平衡的手法の限界を克服した。