[論文レビュー] Intelligent Materials Modelling: Large Language Models Versus Partial Least Squares Regression for Predicting Polysulfone Membrane Mechanical Performance

Dingding Cao, Mieow Kee Chan+3 more|arXiv (Cornell University)|Mar 14, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

本研究は構造記述子からポリスルホン膜の機械特性を予測する際に、4つのLLMをPLSと比較している。特に降伏伸び（elongation at break）でLLMが顕著に改善を示す一方、ヤング率や引張強さといった線形特性ではPLSが依然として競争力を保つ。

ABSTRACT

Predicting the mechanical properties of polysulfone (PSF) membranes from structural descriptors remains challenging due to extreme data scarcity typical of experimental studies. To investigate this issue, this study benchmarked knowledge-driven inference using four large language models (LLMs) (DeepSeek-V3, DeepSeek-R1, ChatGPT-4o, and GPT-5) against partial least squares (PLS) regression for predicting Young's modulus (E), tensile strength (TS), and elongation at break (EL) based on pore diameter (PD), contact angle (CA), thickness (T), and porosity (P) measurements. These knowledge-driven approaches demonstrated property-specific advantages over the chemometric baseline. For EL, LLMs achieved statistically significant improvements, with DeepSeek-R1 and GPT-5 delivering 40.5% and 40.3% of Root Mean Square Error reductions, respectively, reducing mean absolute errors from $11.63\pm5.34$% to $5.18\pm0.17$%. Run-to-run variability was markedly compressed for LLMs ($\leq$3%) compared to PLS (up to 47%). E and TS predictions showed statistical parity between approaches ($q\geq0.05$), indicating sufficient performance of linear methods for properties with strong structure-property correlations. Error topology analysis revealed systematic regression-to-the-mean behavior dominated by data-regime effects rather than model-family limitations. These findings establish that LLMs excel for non-linear, constraint-sensitive properties under bootstrap instability, while PLS remains competitive for linear relationships requiring interpretable latent-variable decompositions. The demonstrated complementarity suggests hybrid architectures leveraging LLM-encoded knowledge within interpretable frameworks may optimise small-data materials discovery.

研究の動機と目的

• 不確かな実験データからPSF膜の機械特性を予測する課題を調査する。
• PD、CA、T、Pに基づくE、TS、ELの推定において、4つのLLMを知識駆動推論としての比較対象PLS回帰と比較する。
• ブートストラップの不安定性下での実行間変動性と誤差特性を評価し、モデルの信頼性を理解する。
• 材料発見におけるハイブリッドで解釈可能なアーキテクチャの利点と可能性を特定する。

提案手法

• 4つのLLM（DeepSeek-V3、DeepSeek-R1、ChatGPT-4o、GPT-5）をPLS回帰と比較評価する。
• PD、CA、T、Pからヤング模量（E）、引張強さ（TS）、降伏伸び（EL）を予測する。
• RMSE、MAEなどの性能指標を計算し、q値などで統計的有意性を比較する。
• 誤差のトポロジーを分析し、回帰-平均への効果とデータ域の影響を理解する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータからPSF膜の機械特性を予測する際にLLMはPLSを上回るか。
• RQ2 どの特性（E、TS、EL）でLLMとPLSの改善度が最も大きいか。
• RQ3 ブートストラップ不安定性の下で、LLMとPLSの実行間変動はどのように異なるか。
• RQ4 誤差トポロジーはデータ域の影響とモデルファミリーの限界をどう示すか。
• RQ5 小データ材料探索をさらには改善するハイブリッドなLLM搭載・解釈可能フレームワークは作れるか。

主な発見

• LLMは特性ごとの利点を示し、特にELで顕著。DeepSeek-R1で40.5%、GPT-5で40.3%のRMSE削減。
• ELの平均絶対誤差はLLM導入で11.63±5.34%から5.18±0.17%へ低下。
• LLMは実行間変動性が著しく低く（≤3%）、PLSは最大47%に達する。
• EとTSの予測はLLMとPLSの間で統計的に等価（q≥0.05）。
• 誤差トポロジーはデータ域の効果による回帰-平均現象を示す。非線形・制約感度のある特性にはLLMが優れ、PLSは線形関係で競争力を維持する。