[논문 리뷰] Optimal control of nonequilibrium systems through automatic differentiation

Megan C. Engel, Jamie Smith외 1명|arXiv (Cornell University)|2022. 01. 01.

Advanced Thermodynamics and Statistical Mechanics인용 수 4

한 줄 요약

이 논문은 비평형 시스템에 대한 최적 제어 프레임워크를 제안하며, 자동 미분(AD)을 사용해 비평형에서 매우 먼 거리에서도 유효한, 소산된 일을 최소화하는 프로토콜을 계산한다. 이 방법은 자성 전환과 에너지 장벽을 넘는 복잡한 시스템에서 정확한 최적화를 가능하게 하여, 근처 평형 이론보다 뛰어나며, 특히 고장벽 영역에서 에너지 장벽 주변으로 가속되고 그 후 감속되는 비정상적인 프로토콜 형태를 드러낸다.

ABSTRACT

Controlling the evolution of nonequilibrium systems to minimize dissipated heat or work is a key goal for designing nanodevices, both in nanotechnology and biology. Progress in computing optimal protocols has thus far been limited to either simple systems or near-equilibrium evolution. Here, we present an approach for computing optimal protocols based on automatic differentiation. Our methodology is applicable to complex systems and multidimensional protocols and is valid arbitrarily far from equilibrium. We validate our method by reproducing theoretical optimal protocols for a Brownian particle in a time-varying harmonic trap. We also compute departures from near-equilibrium behaviour for magnetization reversal on an Ising lattice and for barrier crossing driven by a harmonic trap, which has been used to represent a range of biological processes including biomolecular unfolding reactions. Algorithms based on automatic differentiation outperform the near-equilibrium theory for far-from-equilibrium magnetization reversal and driven barrier crossing. The optimal protocol for crossing an energy landscape barrier of 10kT is found to hasten the approach to, and slow the departure from, the barrier region compared to the near-equilibrium theoretical protocol.

연구 동기 및 목표

• 기존 방법이 실패하는 복잡한 비평형 시스템에서 일반적인 목적의 최적 제어 프로토콜을 계산하는 데 목적이 있다.
• 최근 평형 근사가 제한하는 최적 제어의 한계를 극복하여 저에너지 장벽 시스템에만 적용 가능한 범위를 넘어서는 데 목적이 있다.
• 나노자석과 생물분자와 같은 시스템에서 열역학적 일과 열소산의 고정밀 최적화를 가능하게 하는 데 목적이 있다.
• 이소링 모델 자성 전환과 브라운 운동에서의 장벽 도달과 같은 전형적인 비평형 문제에 대해 이 방법의 효용성을 입증하는 데 목적이 있다.
• 비평형 영역에서 비평형 이론 예측과 크게 다름을 보이는 비정상적인 프로토콜 구조가 어떻게 나타나는지 드러내는 데 목적이 있다.

제안 방법

• 전체 스토케스틱 시뮬레이션을 통해 역전파하여 평균 소산된 일에 대한 프로토콜 매개변수에 대한 기울기를 계산하기 위해 자동 미분(AD)을 활용한다.
• 2D 이소링 모델의 몬테카를로(MC) 시뮬레이션에 AD를 적용하여 자성 전환 프로토콜을 최적화한다.
• 시간에 따라 변화하는 힘의 퍼텐셜에 놓인 브라운 입자의 분자 동역학(MD) 시뮬레이션에서 AD를 사용하여 분석적으로 알려진 최적 프로토콜을 재현한다.
• 노이즈를 난수 변수의 결정론적 함수로 간주함으로써 과다된 랑주아ン 동역학에서 효율적인 기울기 계산을 가능하게 하는 재구성 기법을 적용한다.
• 배치화된 궤적 샘플링과 조각 다항식 매개변수화(예: 체비셰프 다항식)를 사용하여 스무스하고 적응 가능한 제어 프로파일을 확보하기 위해 Adam 최적화기를 사용해 프로토콜을 최적화한다.
• 고장벽 시스템의 경우 직접 역전파가 불안정할 때 기울기 추정을 향상시키기 위해 REINFORCE 방법을 적용한다.

실험 결과

연구 질문

• RQ1 근처 평형 근사가 붕괴하는 복잡한 비평형 시스템에서 최적 제어 프로토콜을 어떻게 계산할 수 있는가?
• RQ2 비평형 영역에서의 최적 프로토콜과 선형 반응 이론이 예측하는 프로토콜 간의 구조적 차이는 무엇인가?
• RQ3 자기 미분 기반 방법이 이소링 모델과 생물분자 장벽 도달 시스템에서 소산된 일의 정확하고 효율적인 최적화를 가능하게 할 수 있는가?
• RQ4 에너지 장벽 높이가 근처 평형 한계를 초월할수록 최적 프로토콜 형태는 어떻게 변화하는가?
• RQ5 고소산, 고장벽 조건에서 AD 기반 프로토콜이 근처 평형 이론적 프로토콜보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 2D 이소링 모델에서 AD 기반 프로토콜은 선형 영역에서는 근처 평형 이론과 일치하지만, 비평형 영역에서는 그보다 뚜렷이 뛰어나며 소산된 일을 감소시킨다.
• 시간에 따라 변화하는 힘의 퍼텐셜에 놓인 브라운 입자에서, 이 방법은 분석적으로 알려진 최적 프로토콜을 성공적으로 재현하여 정확성을 검증한다.
• 10 $k_{\text{B}}T$ 장벽 도달의 경우, 최적 프로토콜은 입자를 장벽 영역으로 가속시키고 그 후에 빠져나올 때 감속시키며, 근처 평형 프로토콜과 크게 다름을 보인다.
• AD 방법은 고장벽 시스템에서 비정상적인 프로토콜 역학을 포착하여, 최적 제어가 균형 행동의 단순한 교란이 아니라는 점을 드러낸다.
• 10 $k_{\text{B}}T$ 장벽 케이스에서 REINFORCE 방법은 직접 기울기 추정보다 수렴을 향상시켜 고소산 영역에서 신뢰할 수 있는 최적화를 가능하게 하였다.
• 이 방법은 복잡한 다차원 프로토콜을 임의의 복잡성과 비평형 역학을 가진 시스템에서 효율적으로 최적화할 수 있으며, 이는 이전의 분석적 또는 근처 평형 접근 방식의 한계를 극복한다.