[論文レビュー] Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials

Pablo Moscato, Mohammad Nazmul Haque+3 more|arXiv (Cornell University)|Nov 27, 2020

Machine Learning in Materials Science被引用数 4

ひとこと要約

本論文は、連分数と加法的スプラインモデルを組み合わせた新しい多次元回帰手法、Spln-CFRを提案する。この手法は、超伝導体の臨界温度を予測するために用いられ、特に訓練ドメイン外の一般化性能において10種類の既存機械学習手法を上回る。特に高臨界温度（Tc）の材料の順位付けにおいて優れた性能を示し、Spln-CFRの上位予測平均は103.64 Kであるのに対し、XGBoostは91.31 Kにとどまる。これは、材料設計における外挿能力に優れていることを示している。

ABSTRACT

In the field of Artificial Intelligence (AI) and Machine Learning (ML), the approximation of unknown target functions $y=f(\mathbf{x})$ using limited instances $S={(\mathbf{x^{(i)}},y^{(i)})}$, where $\mathbf{x^{(i)}} \in D$ and $D$ represents the domain of interest, is a common objective. We refer to $S$ as the training set and aim to identify a low-complexity mathematical model that can effectively approximate this target function for new instances $\mathbf{x}$. Consequently, the model's generalization ability is evaluated on a separate set $T=\{\mathbf{x^{(j)}}\} \subset D$, where $T eq S$, frequently with $T \cap S = \emptyset$, to assess its performance beyond the training set. However, certain applications require accurate approximation not only within the original domain $D$ but also in an extended domain $D'$ that encompasses $D$. This becomes particularly relevant in scenarios involving the design of new structures, where minimizing errors in approximations is crucial. For example, when developing new materials through data-driven approaches, the AI/ML system can provide valuable insights to guide the design process by serving as a surrogate function. Consequently, the learned model can be employed to facilitate the design of new laboratory experiments. In this paper, we propose a method for multivariate regression based on iterative fitting of a continued fraction, incorporating additive spline models. We compare the performance of our method with established techniques, including AdaBoost, Kernel Ridge, Linear Regression, Lasso Lars, Linear Support Vector Regression, Multi-Layer Perceptrons, Random Forests, Stochastic Gradient Descent, and XGBoost. To evaluate these methods, we focus on an important problem in the field: predicting the critical temperature of superconductors based on physical-chemical characteristics.

研究の動機と目的

• 機械学習モデルにおける正確な外挿の挑戦、特に訓練ドメイン外の超伝導体の臨界温度（Tc）を予測するための課題に対処すること。
• 実験的設計を支援するための代理モデルを開発し、高Tcを持つ有望な新しい超伝導体材料を特定すること。
• 分子記述子における構造的類似性を連分数フレームワークを用いて活用することで、未観測の高Tc材料に対する一般化性能を向上させること。
• 本手法の性能を、ドメイン内およびドメイン外の両設定において、最先端の機械学習技術と比較して評価すること。

提案手法

• 本手法は、目的関数f(x)を連分数表現でモデル化し、係数をメタヒューリスティックアルゴリズムで最適化して平均二乗誤差を最小化する。
• 高次元の化学的・物理的記述子空間における柔軟性と局所的フィッティングを向上させるために、加法的スプラインモデルを統合する。
• 訓練誤差を最小化すると同時に一般化性能を維持するように、既知のTc値と分子記述子を有する超伝導体材料のデータセットを用いてモデルを訓練する。
• 連分数構造により、入力特徴量の暗黙的な非線形変換が可能となり、標準的な線形モデルやカーネルベースのモデルよりも優れた外挿性能を実現する。
• AdaBoost、カーネルリッジ回帰、線形回帰、Lasso Lars、線形SVR、MLP、ランダムフォレスト、SGD、XGBoost、およびベースラインのCFRを含む10種類の既存機械学習モデルと比較する。
• ドメイン外一般化は、訓練セットに含まれるTc値を上回るTcを持つ材料をテストすることで評価され、実際の材料発見シナリオを模倣する。

(a) depth 3

実験結果

リサーチクエスチョン

• RQ1 連分数に基づく回帰モデルは、訓練ドメイン外の超伝導体の臨界温度を予測する際、標準的な機械学習モデルよりも一般化性能が優れているか？
• RQ2 加法的スプライン成分の導入が、高Tc材料への外挿能力にどのように影響するか？
• RQ3 訓練セット内の高Tc材料の構造的類似性が、より高いTc値を持つ材料への一般化にどの程度寄与するか？
• RQ4 Spln-CFR手法は、従来の回帰手法に比べ、実験的検証に適した上位候補材料の予測をより信頼性高く提供できるか？

主な発見

• Spln-CFRは、テストした11通りの手法の中で最も優れた一般化性能を示し、354個のデータセットのうち192個で平均二乗誤差（MSE）が他を上回った。
• Spln-CFRが上位20位に予測した材料の平均臨界温度は103.64 Kであり、実際の平均値と一致しており、高い予測精度を示している。
• XGBoostはMSEがSpln-CFRの約3倍小さかったが、上位20件の予測平均は91.31 Kにとどまり、高Tc材料を顕著に低予測していた。
• 線形回帰とマルチレイヤーパーセプトロン（MLP）は両方とも上位予測が100 K未満であったが、実際の上位材料のTc値は98–132.6 Kの範囲にあり、外挿性能が著しく劣っていた。
• これらの結果から、Spln-CFRのドメイン外予測における優れた性能は、訓練セット内に存在する高Tc材料の構造的類似性を活用している可能性が示唆される。
• 今後の改善策として、ドメイン特化記述子の統合や、高Tc材料探索をより重視するように修正された損失関数の使用が示唆される。

(b) depth 5