[논문 리뷰] Machine learning phases of matter

Juan Carrasquilla, Roger G. Melko|arXiv (Cornell University)|2016. 05. 05.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 피드포워드 및 컨volution 신경망이 하미르토니안이나 질서 파라미터에 대한 사전 지식 없이도 원시 스핀 구성에서 양자 상(기본 상, 쿠론 상, 위상 상 포함)을 식별할 수 있음을 보여준다. 핵심 결과는 신경망이 높은 정확도로 상을 분류할 수 있으며, 토릭 코드 모델의 정확한 기본 상태를 모방하는 학습된 표현을 통해 위상적 질서를 탐지할 수 있다는 것이다.

ABSTRACT

Neural networks can be used to identify phases and phase transitions in condensed matter systems via supervised machine learning. Readily programmable through modern software libraries, we show that a standard feed-forward neural network can be trained to detect multiple types of order parameter directly from raw state configurations sampled with Monte Carlo. In addition, they can detect highly non-trivial states such as Coulomb phases, and if modified to a convolutional neural network, topological phases with no conventional order parameter. We show that this classification occurs within the neural network without knowledge of the Hamiltonian or even the general locality of interactions. These results demonstrate the power of machine learning as a basic research tool in the field of condensed matter and statistical physics.

연구 동기 및 목표

• 원시 몬테카를로 샘플링된 구성에서 양자 상과 상전이를 식별하는 기계학습 프레임워크를 개발하는 것.
• 신경망이 전통적인 질서 파라미터에 의존하지 않고도 쿠론 상이나 위상 상과 같은 비정상적인 양자 상을 탐지할 수 있는지 조사하는 것.
• 딥 러닝 모델이 기저 하미르토니안이나 상호작용 구조가 알려지지 않은 상태에서도 물리적 질서 파라미터를 암묵적으로 학습할 수 있는지 탐색하는 것.
• 다양한 시스템 크기와 상호작용 유형에서 완전히 연결된 신경망과 컨volution 신경망의 상 분류 성능을 평가하는 것.

제안 방법

• 2D 이징 모델의 몬테카를로 시뮬레이션에서 유도된 원시 스핀 구성에 대해 완전히 연결된 피드포워드 신경망을 훈련시키며, L2 정규화와 Adam 최적화를 사용한 교차 엔트로피 손실을 적용한다.
• 신경망은 스핀 구성의 입력 벡터를 처리하며, 100개의 시그모이드 뉴런을 가진 단일 은닉층과 이진 분류를 위한 단일 출력 뉴런을 갖는다 (예: 저온 대 고온 상).
• 위상 상의 경우, 토릭 코드 모델의 국소 에너지 제약 조건을 모방하는 학습 가능한 필터를 갖춘 컨볼루션 신경망(CNN)을 설계한다.
• CNN은 ReLU 비선형성과 소프트맥스 출력층을 사용하며, 필터는 만족하지 못한 플라켓을 탐지하도록 초기화되며, 출력 뉴런은 영온도 상태와 고온 상태를 나타낸다.
• 신경망은 몬테카를로로 생성된 데이터에 대해 엔드 투 엔드로 훈련되며, 하미르토니안에 대한 명시적 지식 없이도 스핀 구성만으로 상을 분류하도록 학습된다.
• 최종 출력층의 활성화 값이 $σ^z$ 기저에서 토릭 코드 기본 상태의 진폭과 일치함을 보여, 신경망이 위상적으로 질서가 잡힌 파동함수를 학습함을 시사한다.

실험 결과

연구 질문

• RQ1 신경망은 하미르토니안이나 질서 파라미터에 대한 사전 지식 없이도 원시 스핀 구성만으로 상을 분류할 수 있는가?
• RQ2 신경망은 전통적인 국소 질서 파라미터가 없는 쿠론 상이나 위상적 질서와 같은 매우 비정상적인 상을 탐지할 수 있는가?
• RQ3 신경망의 내부 표현이 위상 모델의 기본 상태 파동함수와 같은 정확한 물리적 양을 어느 정도 모방할 수 있는가?
• RQ4 신경망의 성능은 시스템 크기에 따라 어떻게 변화하며, 진정한 열역학적 상전이 온도에 수렴할 수 있는가?
• RQ5 스핀 구성에서 훈련된 CNN은 위상적으로 질서가 잡힌 시스템의 전체 many-body 파동함수를 표현할 수 있는가?

주요 결과

• 완전히 연결된 신경망은 $10 \times 10$ 격자에서 2D 이징 모델의 저온 및 고온 상을 분류하는 데 94%의 테스트 정확도를 기록했으며, $L=40$일 경우 99%로 향상되었다.
• 신경망은 자화나 기타 물리적 추정량을 사용하지 않고도 기저 질서 파라미터를 암묵적으로 학습함으로써 상전이 온도 $T_c$를 성공적으로 식별했다.
• 컨볼루션 신경망은 토릭 코드 모델의 기본 상태와 불안정 상태를 100% 정확도로 분류했으며, 원시 스핀 구성에서 위상적 질서를 정확히 식별했다.
• CNN의 영온도 뉴런 출력은 $σ^z$ 기저에서 토릭 코드 기본 상태의 하나의 진폭 분포를 정확히 재현했다.
• 신경망의 내부 표현이 토릭 코드 기본 상태의 사영된 얽힌 쌍 상태(PEPS) 구성과 등장함을 보여, CNN이 위상적 파동함수를 학습할 수 있음을 시사한다.
• CNN의 분류 오차는 시스템 크기에 대해 지수적으로 감소하였으며, 무한 온도에서 기본 상태를 관측할 확률이 지수적으로 낮다는 것과 일치했다.