[论文解读] Machine Learning Percolation Model

Shu Cheng, Fei He+3 more|arXiv (Cornell University)|Jan 22, 2021

Theoretical and Computational Physics参考文献 28被引用 4

一句话总结

本研究应用监督式与非监督式机器学习方法，识别二维渗流模型中的关键物理特性——序参量与临界相变点。利用蒙特卡洛生成的数据集，卷积神经网络（CNNs）准确预测了渗透率与序参量，其中CNNs-IV识别出临界阈值为0.594，与理论值0.593极为接近。

ABSTRACT

Recent advances in machine learning have become increasingly popular in the applications of phase transitions and critical phenomena. By machine learning approaches, we try to identify the physical characteristics in the two-dimensional percolation model. To achieve this, we adopt Monte Carlo simulation to generate dataset at first, and then we employ several approaches to analyze the dataset. Four kinds of convolutional neural networks (CNNs), one variational autoencoder (VAE), one convolutional VAE (cVAE), one principal component analysis (PCA), and one $k$-means are used for identifying order parameter, the permeability, and the critical transition point. The former three kinds of CNNs can simulate the two order parameters and the permeability with high accuracy, and good extrapolating performance. The former two kinds of CNNs have high anti-noise ability. To validate the robustness of the former three kinds of CNNs, we also use the VAE and the cVAE to generate new percolating configurations to add perturbations into the raw configurations. We find that there is no difference by using the raw or the perturbed configurations to identify the physical characteristics, under the prerequisite of corresponding labels. In the case of lacking labels, we use unsupervised learning to detect the physical characteristics. The PCA, a classical unsupervised learning, performs well when identifying the permeability but fails to deduce order parameter. Hence, we apply the fourth kinds of CNNs with different preset thresholds, and identify a new order parameter and the critical transition point. Our findings indicate that the effectiveness of machine learning still needs to be evaluated in the applications of phase transitions and critical phenomena.

研究动机与目标

• 评估机器学习在检测相变过程中物理特性（尤其是二维渗流模型）方面的有效性。
• 探究深度学习模型是否可在无标签先验知识的情况下识别序参量与临界相变点。
• 通过变分自编码器（VAEs）生成扰动构型，引入噪声，以验证模型的鲁棒性。
• 比较监督式与非监督式学习技术在从渗流构型中提取物理特征方面的性能。

提出的方法

• 使用蒙特卡洛模拟在不同占据概率下生成大规模二维渗流构型数据集。
• 以监督方式训练三种卷积神经网络（CNNs-I、II、III），用于预测序参量与渗透率。
• 使用变分自编码器（VAE）与卷积变分自编码器（cVAE）生成扰动构型，用于鲁棒性测试。
• 应用非监督学习技术——主成分分析（PCA）与不同阈值下的k均值聚类，以在无标签数据下检测物理特征。
• 使用CNNs-IV配合不同预设阈值，识别新的序参量并估计临界相变点。
• 通过预测输出与已知物理值之间的统计相关性分析验证结果。

实验结果

研究问题

• RQ1 深度卷积神经网络能否在监督学习下准确预测二维渗流模型中的渗透率与序参量？
• RQ2 当在VAE与cVAE生成的扰动构型上测试时，训练好的CNNs对噪声与分布偏移的鲁棒性如何？
• RQ3 在无标签数据下，主成分分析（PCA）等非监督学习方法能否检测到序参量？
• RQ4 在无真实标签的情况下，基于阈值的CNNs-IV方法能否识别出临界相变点？
• RQ5 机器学习模型在估计临界阈值时的准确度如何？其结果与理论值0.593的接近程度如何？

主要发现

• CNNs-I、II与III在预测序参量与渗透率方面均表现出高准确度，具备强泛化能力与抗噪声能力。
• VAE与cVAE成功生成了逼真的扰动构型，且CNNs在原始数据与扰动数据上均保持一致性能，证实了模型的鲁棒性。
• PCA与渗透率表现出显著的统计线性相关性，但与序参量无相关性，表明其无法作为本模型中的序参量。
• 使用预设阈值0.60的CNNs-IV将临界相变点识别为0.594，与理论值0.593极为接近。
• 模型对临界阈值的预测在多次运行与不同采样间隔下保持一致，表现出高度可靠性。
• 本研究证实，尽管机器学习在检测渗流模型中的物理特征方面有效，但其成功依赖于模型架构与训练策略，且对其他模型的泛化能力仍不确定。