[論文レビュー] Steerable Wavelet Scattering for 3D Atomic Systems with Application to Li-Si Energy Prediction

Xavier Brumwell, Paul Sinz+3 more|arXiv (Cornell University)|Nov 21, 2018

Machine Learning in Materials Science参考文献 34被引用数 5

ひとこと要約

本論文は、回転および並進不変なウェーブレット係数を活用して物質の性質をモデル化する、3次元原子系向けのスカラブルなウェーブレットスキャatteringフレームワークを提案する。この手法は、アモルファスLi-Si系の形成エネルギー予測において最先端の性能を達成し、新規の原子軌道ウェーブレットから導出されたスキャattering係数を用いた線形回帰モデルにより、0.78±0.01 meV/atomのMAEを達成した。

ABSTRACT

A general machine learning architecture is introduced that uses wavelet scattering coefficients of an inputted three dimensional signal as features. Solid harmonic wavelet scattering transforms of three dimensional signals were previously introduced in a machine learning framework for the regression of properties of small organic molecules. Here this approach is extended for general steerable wavelets which are equivariant to translations and rotations, resulting in a sparse model of the target function. The scattering coefficients inherit from the wavelets invariance to translations and rotations. As an illustration of this approach a linear regression model is learned for the formation energy of amorphous lithium-silicon material states trained over a database generated using plane-wave Density Functional Theory methods. State-of-the-art results are produced as compared to other machine learning approaches over similarly generated databases.

研究の動機と目的

• 移動および回転不変性といった基本的対称性を尊重する、マルチスケール材料モデリングに一般的に適用可能な機械学習アーキテクチャの開発。
• 回転および並進に対して等長性を示すスカラブルウェーブレットを用いて、3次元原子系へのウェーブレットスキャatteringの拡張。
• アモルファスLi-Si系における形成エネルギー予測のためのスパースで解釈可能かつ高精度な回帰モデルの構築。
• 複雑な原子系における構造的変動性および物理的相関を捉えるウェーブレットスキャattering特徴の有効性の実証。

提案手法

• 回転および並進に対して等長性を保証する、径方向関数と球面調和関数で定義される3次元スカラブルウェーブレットの一般クラスを採用。
• ウェーブレット変換と非線形性の連鎖によりスキャattering係数が計算され、原子配置の不変表現が得られる。
• スキャattering変換は、学習可能なフィルターバンクに代わり固定の非学習的ウェーブレットフィルターバンクを使用し、マルチスケールで幾何学的感度を持つ特徴を生成する。
• 線形回帰モデルがスキャattering係数上で訓練され、特徴選択にはグリーディーな前向き選択法が用いられる。
• ウェーブレットの径方向成分が原子系に適合され、固体調和ウェーブレットを一般化する新規な原子軌道ウェーブレットの族が構築された。
• 係数の正規化により、系のサイズに依存しない不変性が確保され、異なる原子配置への一般化性能が向上した。

実験結果

リサーチクエスチョン

• RQ1 スカラブルなウェーブレットスキャatteringは、機械学習に適した、回転および並進不変な3次元原子系の表現を提供できるか？
• RQ2 ウェーブレットスキャattering係数は、アモルファスLi-Si系における構造的およびエネルギー的変動性をどれほど的確に捉えられるか？
• RQ3 これらの係数に基づく線形モデルは、同じデータセット上で他の機械学習手法と比較して、形成エネルギー予測において最先端の精度を達成できるか？
• RQ4 得られたモデルはどの程度スパースで解釈可能であり、エネルギーを予測する上で最も予測力のある特徴は何か？
• RQ5 径方向ウェーブレット関数の選択が、モデルの性能および解釈可能性にどのように影響を与えるか？

主な発見

• 本モデルは、Li-Siの形成エネルギー予測タスクにおいて、MAEが0.78±0.01 meV/atom、RMSEが1.24±0.05 meV/atomに達し、同様のデータベースで学習された他の機械学習手法を上回った。
• 最初の数個のスキャattering係数を含めることで誤差が急速に減少したため、少数の特徴集合からの高い予測力を持つスパースモデルであることが示された。
• 訓練曲線と検証曲線が密接に一致しており、ノイズへの過学習を避け、良好な一般化性能を示していることがわかった。
• モデルはLiのみのチャネル由来の特徴およびq=2の2次係数を好む傾向を示しており、結合およびエネルギー寄与においてLiが支配的であることを反映している。
• 特徴選択により、類似スケールのウェーブレットの結合が好まれ、係数の重みが急激に減衰することが確認され、モデルのスパース性および解釈可能性が裏付けられた。
• ウェーブレット全体の重みの合計に明確な空間的パターンは認められず、予測力が特定のウェーブレットに局在しているのではなく、複数のスケールおよびチャネルに分散していることが示された。