[論文レビュー] Machine Learning Percolation Model

Shu Cheng, Fei He+3 more|arXiv (Cornell University)|Jan 22, 2021

Theoretical and Computational Physics参考文献 28被引用数 4

ひとこと要約

本研究では、2次元パーコレーション模型における臨界物理的特徴—順序パラメータおよび臨界転移点—を特定するために、教師ありおよび教師なし機械学習を適用する。モンテカルロ法で生成されたデータセットを用い、畳み込みニューラルネットワーク（CNN）は透過率および順序パラメータを正確に予測する。CNN-IVは臨界閾値を0.594に特定し、理論的値の0.593に極めて近い値を示した。

ABSTRACT

Recent advances in machine learning have become increasingly popular in the applications of phase transitions and critical phenomena. By machine learning approaches, we try to identify the physical characteristics in the two-dimensional percolation model. To achieve this, we adopt Monte Carlo simulation to generate dataset at first, and then we employ several approaches to analyze the dataset. Four kinds of convolutional neural networks (CNNs), one variational autoencoder (VAE), one convolutional VAE (cVAE), one principal component analysis (PCA), and one $k$-means are used for identifying order parameter, the permeability, and the critical transition point. The former three kinds of CNNs can simulate the two order parameters and the permeability with high accuracy, and good extrapolating performance. The former two kinds of CNNs have high anti-noise ability. To validate the robustness of the former three kinds of CNNs, we also use the VAE and the cVAE to generate new percolating configurations to add perturbations into the raw configurations. We find that there is no difference by using the raw or the perturbed configurations to identify the physical characteristics, under the prerequisite of corresponding labels. In the case of lacking labels, we use unsupervised learning to detect the physical characteristics. The PCA, a classical unsupervised learning, performs well when identifying the permeability but fails to deduce order parameter. Hence, we apply the fourth kinds of CNNs with different preset thresholds, and identify a new order parameter and the critical transition point. Our findings indicate that the effectiveness of machine learning still needs to be evaluated in the applications of phase transitions and critical phenomena.

研究の動機と目的

• 相転移における物理的特徴の検出に機械学習の有効性を評価すること、特に2次元パーコレーション模型を対象とする。
• 深層学習モデルがラベルの事前知識なしに順序パラメータおよび臨界転移点を同定できるかどうかを調査すること。
• 変分オートエンコーダ（VAE）を用いて摂動を加えた構成を生成し、モデルの頑健性を検証すること。
• 教師ありおよび教師なし学習手法がパーコレーション構成から物理的特徴を抽出する性能を比較すること。

提案手法

• 異なる占有確率でモンテカルロシミュレーションを用いて、2次元パーコレーション構成の大量データセットを生成する。
• 順序パラメータおよび透過率を予測するために、3種類の畳み込みニューラルネットワーク（CNN-I、II、III）を教師あり学習で訓練する。
• 頑健性テストのため、変分オートエンコーダ（VAE）および畳み込みVAE（cVAE）を用いて摂動を加えた構成を生成する。
• 教師なし学習手法（主成分分析（PCA）および閾値を変化させたk-meansクラスタリング）を用い、ラベルなしで物理的特徴を検出する。
• 異なる事前設定された閾値を用いたCNN-IVを用い、新たな順序パラメータを特定し、臨界転移点を推定する。
• 予測出力と既知の物理的値との間で統計的相関分析を実施し、結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習を用いた深層畳み込みニューラルネットワークは、2次元パーコレーション模型において透過率および順序パラメータを正確に予測できるか？
• RQ2 VAEおよびcVAEで生成された摂動を加えた構成に対して、訓練済みのCNNはノイズおよび分布シフトに対してどの程度頑健か？
• RQ3 PCAなどの教師なし学習手法は、ラベルなしの状況で順序パラメータを検出できるか？
• RQ4 CNN-IVを用いた閾値ベースのアプローチは、真のラベルが存在しない状況で臨界転移点を同定できるか？
• RQ5 機械学習モデルの臨界閾値推定精度はどの程度で、理論的値の0.593にどの程度近いか？

主な発見

• CNN-I、II、IIIは、順序パラメータおよび透過率の両方において高い精度を達成し、良好な一般化性能とノイズ耐性を示した。
• VAEおよびcVAEは、現実的で摂動を加えた構成を効果的に生成し、CNNは元データおよび摂動を加えたデータの両方で一貫した性能を示した。これにより、モデルの頑健性が確認された。
• PCAは透過率と統計的に有意な線形相関を示したが、順序パラメータとは相関しなかった。これは、本モデルにおいてPCAが順序パラメータとして機能できないことを示している。
• 事前設定された閾値0.60を用いたCNN-IVは、臨界転移点を0.594に特定し、理論的値の0.593に極めて近い値を示した。
• 複数回の実行および異なるサンプリング間隔においても、臨界閾値の予測が一貫しており、高い信頼性が示された。
• 本研究は、パーコレーションにおける物理的特徴の検出において機械学習が有効であることを確認したが、その成功はモデルのアーキテクチャおよび学習戦略に依存しており、他のモデルへの一般化は未だ不確実であると示した。