[논문 리뷰] Machine Learning Percolation Model

Shu Cheng, Fei He외 3명|arXiv (Cornell University)|2021. 01. 22.

Theoretical and Computational Physics참고 문헌 28인용 수 4

한 줄 요약

이 연구는 2차원 퍼콜레이션 모델에서 임계 물리적 특성—순서 매개변수 및 임계 전이 점수—를 식별하기 위해 지도 학습 및 비지도 학습 기계 학습 기법을 적용한다. 몬테카를로로 생성한 데이터셋을 사용하여 컨volutional 신경망(CNNs)은 투과도와 순서 매개변수를 정확하게 예측하며, CNNs-IV는 임계 임계점 0.594를 식별하여 이론적 값 0.593과 매우 유사하게 일치시킨다.

ABSTRACT

Recent advances in machine learning have become increasingly popular in the applications of phase transitions and critical phenomena. By machine learning approaches, we try to identify the physical characteristics in the two-dimensional percolation model. To achieve this, we adopt Monte Carlo simulation to generate dataset at first, and then we employ several approaches to analyze the dataset. Four kinds of convolutional neural networks (CNNs), one variational autoencoder (VAE), one convolutional VAE (cVAE), one principal component analysis (PCA), and one $k$-means are used for identifying order parameter, the permeability, and the critical transition point. The former three kinds of CNNs can simulate the two order parameters and the permeability with high accuracy, and good extrapolating performance. The former two kinds of CNNs have high anti-noise ability. To validate the robustness of the former three kinds of CNNs, we also use the VAE and the cVAE to generate new percolating configurations to add perturbations into the raw configurations. We find that there is no difference by using the raw or the perturbed configurations to identify the physical characteristics, under the prerequisite of corresponding labels. In the case of lacking labels, we use unsupervised learning to detect the physical characteristics. The PCA, a classical unsupervised learning, performs well when identifying the permeability but fails to deduce order parameter. Hence, we apply the fourth kinds of CNNs with different preset thresholds, and identify a new order parameter and the critical transition point. Our findings indicate that the effectiveness of machine learning still needs to be evaluated in the applications of phase transitions and critical phenomena.

연구 동기 및 목표

• 상전이에서 물리적 특성을 탐지하는 데 기계 학습의 효과성을 평가하는 것, 특히 2차원 퍼콜레이션 모델에서의 적용을 목적으로 한다.
• 딥 러닝 모델이 레이블에 대한 사전 지식 없이 순서 매개변수와 임계 전이 점수를 식별할 수 있는지 조사하는 것.
• 변동 자동인코더(VAEs)를 통해 노이즈를 도입하고 변형된 구성(configuration)를 생성하여 모델의 강건성(robustness)을 검증하는 것.
• 지도 학습과 비지도 학습 기법의 성능을 퍼콜레이션 구성에서 물리적 특징을 추출하는 데 비교하는 것.

제안 방법

• 다양한 점유 확률에서 몬테카를로 시뮬레이션을 사용하여 2차원 퍼콜레이션 구성의 대규모 데이터셋을 생성한다.
• 순서 매개변수와 투과도를 예측하기 위해 세 가지 유형의 컨volutional 신경망(CNNs-I, II, III)을 지도 학습 방식으로 훈련한다.
• 강건성 테스트를 위해 변동 자동인코더(VAE)와 컨볼루션 VAE(cVAE)를 사용하여 변형된 구성(configuration)을 생성한다.
• 레이블이 없는 데이터에서 물리적 특징을 탐지하기 위해 비지도 학습 기법—주성분 분석(PCA)과 다양한 임계값을 가진 k-means 군집화를 적용한다.
• 다양한 사전 설정된 임계값을 가진 CNNs-IV를 사용하여 새로운 순서 매개변수를 식별하고 임계 전이 점수를 추정한다.
• 예측 출력과 알려진 물리적 값 간의 통계적 상관 분석을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망은 지도 학습을 통해 2차원 퍼콜레이션 모델에서 투과도와 순서 매개변수를 정확하게 예측할 수 있는가?
• RQ2 VAE와 cVAE로 생성된 변형된 구성에서 노이즈와 분포 이탈에 대해 훈련된 CNNs의 강건성은 어떠한가?
• RQ3 레이블이 없는 데이터에서 주성분 분석(PCA)과 같은 비지도 학습 방법이 순서 매개변수를 탐지할 수 있는가?
• RQ4 CNNs-IV를 사용한 임계값 기반 접근법이 기준 레이블이 없는 상황에서 임계 전이 점수를 식별할 수 있는가?
• RQ5 기계 학습 모델이 임계 임계점의 값을 추정할 때의 정확도는 얼마이며, 이론적 값 0.593과 얼마나 가까운가?

주요 결과

• CNNs-I, II, III는 순서 매개변수와 투과도 예측에서 높은 정확도를 달성하였으며, 일반화 능력과 노이즈에 대한 내성도가 뛰어나다.
• VAE와 cVAE는 현실적인 변형된 구성(configuration)을 성공적으로 생성하였고, CNNs는 원본 데이터와 변형된 데이터 모두에서 일관된 성능을 유지하여 강건성을 확인하였다.
• PCA는 투과도와 통계적으로 유의미한 선형 상관관계를 보였지만, 순서 매개변수와의 상관관계는 실패하여 이 모델에서 순서 매개변수로 사용될 수 없다는 것을 시사한다.
• 0.60으로 사전 설정된 임계값을 가진 CNNs-IV는 임계 전이 점수를 0.594로 식별하였으며, 이는 이론적 값 0.593과 매우 가까운 수준이다.
• 모델의 임계 임계점 예측은 여러 번의 실행과 샘플링 간격에 걸쳐 일관되게 유지되어 높은 신뢰성을 보였다.
• 이 연구는 기계 학습이 퍼콜레이션에서 물리적 특징을 탐지하는 데 효과적임을 확인하지만, 성공 여부는 모델 아키텍처와 훈련 전략에 따라 달라지며, 다른 모델로의 일반화 가능성은 여전히 불확실하다고 결론내린다.