[論文レビュー] A Transfer Learning Approach for Microstructure Reconstruction and Structure-property Predictions

Xiaolin Li, Yichi Zhang+4 more|arXiv (Cornell University)|May 8, 2018

Machine Learning in Materials Science参考文献 33被引用数 34

ひとこと要約

本稿では、多様な材料系に適用可能な微細構造再構成および構造-性質予測のための転移学習ベースのディープラーニングフレームワークを提案する。特徴マッチング最適化とモデルプルーニングを用いて階層的な微細構造特徴を抽出するエンコーダ-デコーダアーキテクチャを活用することで、広範なハイパーパramータチューニングやドメイン固有の事前知識を必要とせず、一般化可能で即時の予測が可能となる。幾何的複雑性が異なる複雑な微細構造に対しても優れた性能を示す。

ABSTRACT

Stochastic microstructure reconstruction has become an indispensable part of computational materials science, but ongoing developments are specific to particular material systems. In this paper, we address this generality problem by presenting a transfer learning-based approach for microstructure reconstruction and structure-property predictions that is applicable to a wide range of material systems. The proposed approach incorporates an encoder-decoder process and feature-matching optimization using a deep convolutional network. For microstructure reconstruction, model pruning is implemented in order to study the correlation between the microstructural features and hierarchical layers within the deep convolutional network. Knowledge obtained in model pruning is then leveraged in the development of a structure-property predictive model to determine the network architecture and initialization conditions. The generality of the approach is demonstrated numerically for a wide range of material microstructures with geometrical characteristics of varying complexity. Unlike previous approaches that only apply to specific material systems or require a significant amount of prior knowledge in model selection and hyper-parameter tuning, the present approach provides an off-the-shelf solution to handle complex microstructures, and has the potential of expediting the discovery of new materials.

研究の動機と目的

• 既存の微細構造再構成手法が個々の材料系に特化しており、広範なドメイン固有のチューニングを要するという制限を克服すること。
• 再トレーニングを最小限に抑え、広範な材料に即座に適用可能な一般化可能なディープラーニングフレームワークの開発。
• 事前学習済みネットワークにおけるモデルプルーニングの知識を活用し、構造-性質予測モデルのアーキテクチャと初期化を支援すること。
• タスク間で学習された特徴を転送することで、微細構造データの少量での正確な微細構造再構成と性質予測を実現すること。
• 材料モデリングにおけるモデル選択およびハイパーパramータチューニングにおけるエキスパート知識への依存を低減すること。

提案手法

• 本手法は、統計的記述子から微細構造を再構成するための深層畳み込みエンコーダ-デコーダネットワークを採用する。
• トレーニング中に、実際の微細構造と生成された微細構造の間の中間特徴表現を一致させるために特徴マッチング最適化が用いられる。
• 訓練済みエンコーダに対してモデルプルーニングを適用し、ネットワークの各層にわたる階層的な微細構造特徴を特定・抽出する。
• プルーニングされたエンコーダーが学習した特徴を、別個の構造-性質予測モデルのアーキテクチャと初期化に活用する。
• 転移学習を適用し、下流の性質予測タスク用に事前学習済みエンコーダー特徴を固定された特徴抽出器として再利用する。
• 本アプローチは、幾何的複雑性が異なる多様な材料の微細構造、特に複雑な形状や多相構造を有するものに対してもトレーニングおよび評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 1つの材料系でトレーニングされたディープラーニングフレームワークが、他の類似しない材料系の微細構造再構成および性質予測に一般化可能か。
• RQ2 事前学習済みネットワークからどのように階層的な微細構造特徴を抽出し、構造-性質モデリングを支援できるか。
• RQ3 転移学習は、微細構造モデリングにおけるハイパーパramータチューニングおよびドメイン固有の知識の必要性をどの程度低減できるか。
• RQ4 再構成ネットワークのモデルプルーニングが、性質予測に関連する解釈可能な微細構造特徴を明らかにできるか。
• RQ5 本手法は、限られたトレーニングデータで微細構造再構成および性質予測において高い正確性を達成できるか。

主な発見

• 提案された転移学習フレームワークは、システム固有の再トレーニングや広範なハイパーパramータチューニングを要せず、多様な材料系で高精細な微細構造再構成を達成する。
• モデルプルーニングにより、構造的複雑性と相関する階層的な微細構造特徴が効果的に同定され、マクロスコピックな性質を予測可能であることが示された。
• 再構成ネットワークのプルーニングから得られた知識は、下流の構造-性質予測モデルの正確性と収束速度を顕著に向上させる。
• 本手法は優れた一般化能力を示し、複雑な幾何的形状や多相形状を有する微細構造に対しても正確な予測を達成する。
• モデル設計およびハイパーパramータ選択におけるエキスパート知識への依存が低減され、材料発見のための即時利用可能なソリューションが実現される。
• 定量的評価により、本フレームワークは再構成の忠実度および予測正確性において従来手法を上回ることが示され、特にデータが限られた状況下で顕著な優位性を示す。