[논문 리뷰] Self-Supervised Learning of Generative Spin-Glasses with Normalizing Flows

Gavin S. Hartnett, Masoud Mohseni|arXiv (Cornell University)|2020. 01. 02.

Theoretical and Computational Physics인용 수 10

한 줄 요약

이 논문은 연속적인 생성 모델을 사용하여 복잡하고 다중 모달인 스핀글라스 분포를 모델링하기 위한 자기지도 학습 정규화 흐름 프레임워크를 제안한다. 거친 에너지 표면을 단순한 가우시안으로 매핑하기 위해 역 흐름을 훈련시킴으로써, 이 방법은 가역적이며 다중 척도의 군집화 연산을 학습하며, 준안정 상태들 사이의 위상적 구조를 드러내고, 흐름 계층 내에서 잠재적인 스핀글라스 상전이를 나타낸다.

ABSTRACT

Spin-glasses are universal models that can capture complex behavior of many-body systems at the interface of statistical physics and computer science including discrete optimization, inference in graphical models, and automated reasoning. Computing the underlying structure and dynamics of such complex systems is extremely difficult due to the combinatorial explosion of their state space. Here, we develop deep generative continuous spin-glass distributions with normalizing flows to model correlations in generic discrete problems. We use a self-supervised learning paradigm by automatically generating the data from the spin-glass itself. We demonstrate that key physical and computational properties of the spin-glass phase can be successfully learned, including multi-modal steady-state distributions and topological structures among metastable states. Remarkably, we observe that the learning itself corresponds to a spin-glass phase transition within the layers of the trained normalizing flows. The inverse normalizing flows learns to perform reversible multi-scale coarse-graining operations which are very different from the typical irreversible renormalization group techniques.

연구 동기 및 목표

• 복잡한 스핀글라스 시스템에 대해 이산적이고 상당히 상관관계가 높은 상태를 갖는 딥 생성 모델을 개발하기 위해.
• 평균장 이론과 유도군 이론의 한계를 극복하기 위해 시스템에 특화된 가역 변환을 학습하기 위해.
• 외부 데이터셋 없이 스핀글라스 해밀토니안에서 직접 훈련 데이터를 생성함으로써 자기지도 학습을 가능하게 하기 위해.
• 학습된 잠재 표현을 통해 준안정 상태들 사이의 숨겨진 위상적 구조를 밝혀내기 위해.
• 정규화 흐름의 계층 내에서 상전이가 어떻게 나타나는지 탐구하기 위해.

제안 방법

• 스핀글라스 시스템의 연속적 확률 분포를 모델링하기 위해 정규화 흐름을 사용하며, 변환을 가역적 신경망을 통해 매개변수화한다.
• 자기지도 학습 프레임워크를 적용하여, 훈련 데이터는 스핀글라스 해밀토니안(Eq. 1)을 기반으로 역온도 β=1에서 마르코프 체인 몬테카를로 샘플링을 통해 생성된다.
• 복잡하고 다중 모달인 에너지 표면을 단순한 이차형태 ½zᵀz로 매핑하기 위해 역 흐름 G⁻¹을 적용한다.
• 정규화 흐름의 가역성을 활용하여, 자유도를 통합하지 않고도 정보를 유지하는 가역적이고 정보 보존형 군집화를 수행한다.
• 볼츠만 분포(Eq. 2)에 대한 가능도 최대화를 통해 흐름을 훈련시켜, 모델이 진정한 평형 분포를 포착하도록 보장한다.
• 신경미분방정식(Neural ODEs)과 미분형사 이론을 사용하여 흐름을 복잡한 분포와 단순한 분포 사이의 연속적이고 미분 가능한 변환으로 수학적으로 정의한다.

실험 결과

연구 질문

• RQ1 정규화 흐름은 지수적 상태 공간을 가진 스핀글라스의 복잡하고 다중 모달인 평형 분포를 학습할 수 있는가?
• RQ2 해밀토니안 자체에서 생성된 데이터를 사용하는 자기지도 학습 프레임워크가 스핀글라스 시스템의 효과적인 모델링을 가능하게 하는가?
• RQ3 역 흐름 연산은 물리적 구조를 유지하는 가역적이고 다중 척도의 군집화로 해석될 수 있는가?
• RQ4 훈련 과정 자체가 원래 시스템의 스핀글라스 상전이와 유사한 상전이를 정규화 흐름의 계층 내에서 유도하는가?
• RQ5 비정상적인 다체계의 맥락에서 정규화 흐름과 전통적인 유도군 기법 간의 관계는 무엇인가?

주요 결과

• 역 정규화 흐름은 셰링턴-키르크패커 스핀글라스의 거친 다중 모달 에너지 표면을 단순한 이차형태로 성공적으로 매핑하여 효율적인 샘플링과 잠재적 위상적 구조의 드러남을 가능하게 한다.
• 모델은 모든 정보를 유지하는 가역적이고 다중 척도의 군집화를 학습하며, 비가역적인 유도군 접근과 근본적으로 다름을 보인다.
• 훈련된 정규화 흐름의 계층 내에서 잠재적인 스핀글라스 상전이가 관측되어, 흐름 아키텍처와 물리적 시스템 간의 깊은 구조적 유사성을 시사한다.
• 역 흐름의 잠재공간은 준안정 상태와 그들의 위상적 조직을 포착하여 시스템의 복잡한 에너지 표면에 대한 통찰을 제공한다.
• 유사한 군집화 맵을 사용한 이전 연구에서 보여졌듯이, 이 방법은 개선된 해밀토니안 몬테카를로 샘플링을 가능하게 한다.
• 이 프레임워크는 시스템에 특화된 가역적 학습 프레임워크의 특성 덕분에 조합 최적화, 그래픽 모델 추론, 에너지 기반 모델링 등에 널리 적용 가능하다.