[논문 리뷰] Variational optimization in the AI era: Computational Graph States and Supervised Wave-function Optimization

Dmitrii Kochkov, Bryan K. Clark|arXiv (Cornell University)|2018. 11. 29.

Neural Networks and Reservoir Computing인용 수 32

한 줄 요약

이 논문은 계산 그래프 상태(CGS)를 도입하여 모든 계산 가능한 변분 파동함수를 미분 가능한 계산 그래프로 통합적으로 표현하는 프레임워크를 제안하고, 지도 학습에 영감을 받은 새로운 최적화 방법인 감독 파동함수 최적화(SWO)를 제안한다. SWO는 다양한 아키텍처—완전 컨볼루션 네트워크 포함—에서 효율적이고 확장 가능한 매개변수 최적화를 가능하게 하며, 1차원 및 2차원 헤이젠베르크 모델에서 경쟁 가능한 기저 상태 에너지를 달성하고, 시스템 크기 간에 매개변수를 이식 가능하게 한다.

ABSTRACT

Representing a target quantum state by a compact, efficient variational wave-function is an important approach to the quantum many-body problem. In this approach, the main challenges include the design of a suitable variational ansatz and optimization of its parameters. In this work, we address both of these challenges. First, we define the variational class of Computational Graph States (CGS) which gives a uniform framework for describing all computable variational ansatz. Secondly, we develop a novel optimization scheme, supervised wave-function optimization (SWO), which systematically improves the optimized wave-function by drawing on ideas from supervised learning. While SWO can be used independently of CGS, utilizing them together provides a flexible framework for the rapid design, prototyping and optimization of variational wave-functions. We demonstrate CGS and SWO by optimizing for the ground state wave-function of 1D and 2D Heisenberg models on nine different variational architectures including architectures not previously used to represent quantum many-body wave-functions and find they are energetically competitive to other approaches. One interesting application of this architectural exploration is that we show that fully convolution neural network wave-functions can be optimized for one system size and, using identical parameters, produce accurate energies for a range of system sizes. We expect these methods to increase the rate of discovery of novel variational ansatz and bring further insights to the quantum many body problem.

연구 동기 및 목표

• 다양한 앤사츠를 하나의 계산 프레임워크로 통합함으로써 양자 다체 시스템의 변분 파동함수 설계 및 최적화 과제를 해결하기 위해.
• 伝통적인 변분 몬테카를로 방법의 높은 구현 및 최적화 비용이 새로운 앤사츠 아키텍처 탐색을 제한하는 문제를 해결하기 위해.
• 그래프 기반 공식화를 통해 자동 미분를 가능하게 하여 변분 앤사츠의 신속한 프로토타이핑과 최적화를 가속화함으로써 효과적인 변분 파동함수의 발견을 가속화하기 위해.
• 가상 시간 진동수의 경로를 따라 수렴하는 감독 학습 원리를 활용하여 국소 최소값을 피하고 수렴을 향상시키는 새로운 최적화 기법인 SWO를 개발하기 위해.
• 완전 컨볼루션 네트워크와 같은 아키텍처가 한 시스템 크기에서 훈련된 후 동일한 매개변수로 다른 크기의 시스템으로 일반화될 수 있는지 검증하기 위해.

제안 방법

• 입력 노드가 계산 기저 상태를 나타내고 출력 노드가 파동함수 진폭을 나타내는 방향성 비순환 그래프를 사용하여, 계산 그래프 상태(CGS)를 변분 파동함수의 보편적 표현으로 정의한다.
• 모든 알려진 변분 앤사츠—RBM, MPS, 슬래터 행렬식, 신경망 포함—을 CGS 프레임워크 내에서 특정 아키텍처 구성으로 표현한다.
• CGS 내에서 자동 미분를 구현하여 변분 매개변수에 대한 에너지의 기울기를 계산함으로써 효율적인 최적화를 가능하게 한다.
• 현재 파동함수와 목표로 하는 개선된 파동함수 간의 L2 차이를 최소화하는 감독 파동함수 최적화(SWO)를 제안하며, 이는 지도 학습 목표를 활용한다.
• 가상 시간 전파자를 활용하여 수렴 속도를 높이고 국소 최소값을 피하는 일阶 최적화 방법인 IT-SWO(가상 시간 SWO)를 구현한다.
• 다양한 아키텍처를 동시에 사용하며, 더 표현력이 뛰어난 아키텍처가 표현력이 낮은 아키텍처를 이끄는 방식으로 에너지 장벽을 터널링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 일관된 계산 프레임워크가 양자 다체 시스템의 모든 효율적이고 계산 가능한 변분 파동함수를 표현할 수 있는가?
• RQ2 감독 학습 원리가 전통적인 에너지 최소화보다 더 효율적으로 양자 변분 파동함수를 최적화하는 데 효과적으로 적용될 수 있는가?
• RQ3 한 시스템 크기에서 최적화된 파동함수가 재학습 없이 다른 시스템 크기로 일반화될 수 있는가, 특히 컨볼루션 아키텍처의 경우에?
• RQ4 제한된 볼츠만 기계 이외의 다양한 신경망 아키텍처가 변분 몬테카를로에서 경쟁적인 성능을 낼 수 있는가?
• RQ5 CGS와 SWO의 상호작용이 변분 앤사츠의 더 빠르고 체계적인 탐색을 어떻게 가능하게 하는가?

주요 결과

• CGS 프레임워크는 RBM, MPS, 슬래터 행렬식, 완전 컨볼루션 네트워크를 포함한 다양한 변분 앤사츠를 하나의 유연하고 미분 가능한 그래프 공식화로 통합적으로 성공적으로 표현하였다.
• SWO는 알려진 가상 시간 진동수 경로를 따라 수렴하므로, 표준 확률적 경사하강법보다 더 빠른 수렴 속도를 달성한다.
• 단일 시스템 크기에서 훈련된 완전 컨볼루션 신경망 파동함수는 동일한 매개변수를 사용하여 다양한 다른 시스템 크기에서 정확한 기저 상태 에너지를 생성한다.
• 이전에 이 분야에서 탐색되지 않은 아키텍처인 ResNet 및 다중-RBM 파동함수는 1차원 및 2차원 헤이젠베르크 모델에서 에너적으로 경쟁 가능한 성능을 보였다.
• SWO를 사용하여 다수의 아키텍처를 동시에 활용함으로써 국소 최소값을 효과적으로 탈출할 수 있었으며, 더 표현력이 뛰어난 아키텍처가 표현력이 낮은 아키텍처를 더 나은 해로 이끌 수 있었다.
• 오픈소스 CGS-VMC 코드베이스(https://github.com/ClarkResearchGroup/cgs-vmc)는 재현 가능성을 보장하고 향후 새로운 앤사츠 탐색을 촉진한다.