[論文レビュー] Importance of feature engineering and database selection in a machine learning model: A case study on carbon crystal structures

Franz M. Rohrhofer, Santanu Saha+4 more|arXiv (Cornell University)|Jan 30, 2021

Machine Learning in Materials Science被引用数 4

ひとこと要約

本研究は、炭素結晶構造の全エネルギー予測における機械学習性能に、特徴工学とデータベース選択がどのように影響するかを調査する。単純で解釈可能な特徴（SGD、RDF、ADF）を用いたカーネルリッジ回帰を用いて、著者らはモデル性能が特徴選択とデータベース構成に強く依存することを示し、最適な結果は体系的なハイパーパrameterチューニングとデータベースサブセット選択によって達成されることを明らかにした。これは、構造的タイプ間での性能の非転送性を強調している。

ABSTRACT

Drive towards improved performance of machine learning models has led to the creation of complex features representing a database of condensed matter systems. The complex features, however, do not offer an intuitive explanation on which physical attributes do improve the performance. The effect of the database on the performance of the trained model is often neglected. In this work we seek to understand in depth the effect that the choice of features and the properties of the database have on a machine learning application. In our experiments, we consider the complex phase space of carbon as a test case, for which we use a set of simple, human understandable and cheaply computable features for the aim of predicting the total energy of the crystal structure. Our study shows that (i) the performance of the machine learning model varies depending on the set of features and the database, (ii) is not transferable to every structure in the phase space and (iii) depends on how well structures are represented in the database.

研究の動機と目的

• 炭素結晶構造の全エネルギー予測における機械学習モデル性能に、特徴工学とデータベース構成が与える影響を調査すること。
• SGD、RDF、ADFの異なる特徴が、モデルの汎化性能と精度に与える影響を評価すること。
• 炭素相空間内の異なる構造的タイプ間で、モデル性能が転送可能かどうかを特定すること。
• 体系的なグリッドサーチと交差検証を用いて、最適なハイパーパrameterと特徴の組み合わせを同定すること。
• 凝縮系物質系における堅牢で解釈可能な機械学習モデルを構築するための実用的ガイドラインを提供すること。

提案手法

• 本研究では、炭素結晶構造の全エネルギー予測に、機械学習モデルとしてカーネルリッジ回帰（KRR）を採用した。
• 特徴には、単純で物理的に解釈可能な記述子として、局所的秩序度（SGD）、径方向分布関数（RDF）、および角度分布関数（ADF）を含めた。
• モデル性能最適化のため、5分割交差検証を用いて、ハイパーパrameter（正則化パrameter σ とカーネル係数 γ）のグリッドサーチを実施した。
• MHM+RSデータベース（11,500構造）を用い、汎化性能のテストのため、クラスタ1（緩い、sp²中心）とクラスタ2（密な、sp³中心）にデータベースサブセットを分割した。
• 特徴の独自性は、正規化された特徴ベクトル間のユークリッド距離を用いて検証した。非ゼロの距離が確認され、特徴の独自性が裏付けられた。
• モデルの学習と予測は、PythonのScikit-learnを用いて実装した。特徴抽出には単一プロセッサで約15分を要した。

実験結果

リサーチクエスチョン

• RQ1 異なる特徴セット（SGD、RDF、ADF）は、炭素結晶全エネルギーの機械学習モデルの予測性能にどのように影響するか？
• RQ2 学習データベースの構成と表現が、モデルの汎化性能と精度にどの程度影響を及えるか？
• RQ3 訓練済みモデルの性能は、炭素相空間内の異なる構造的タイプ間で転送可能か？
• RQ4 KRRモデルの最適なハイパーパramータの組み合わせ（σ と γ）は、異なる特徴およびデータベース構成においてどのように特定されるか？
• RQ5 特徴の分布と構造クラスタリング（例：クラスタ1 対 クラスタ2）は、モデル性能とどの程度相関するか？

主な発見

• モデル性能は、特徴選択とデータベース構成に大きく依存しており、万能な最適な組み合わせは存在しないことが判明した。
• ADF特徴の最適なビンサイズは Δθ = 15° であり、平滑化パラメータ σ_ADF = 15° で、0°–180° の範囲で12ビンが得られた。
• MHM+RSデータベースに SGD+RDF+ADF 特徴を組み合わせた場合、5分割交差検証で最小の平均二乗誤差を達成した。
• 性能は構造的タイプ間で転送可能ではなかった。クラスタ1の構造で訓練したモデルはクラスタ2で性能を発揮できず、逆も同様であった。
• 特徴の独自性が確認された。正規化された特徴ベクトル間のすべてのペアワイズユークリッド距離が非ゼロであったため、一意な表現が保証された。
• 本研究は、データベース表現の質、特に構造的タイプのカバレッジが、モデルの汎化性能と予測精度に直接的な影響を及えることを示した。