[論文レビュー] A General Framework Combining Generative Adversarial Networks and Mixture Density Networks for Inverse Modeling in Microstructural Materials Design

Zijiang Yang, Dipendra Jha+4 more|arXiv (Cornell University)|Jan 26, 2021

Machine Learning in Materials Science参考文献 11被引用数 5

ひとこと要約

本論文は、生成対抗ネットワーク（GANs）と混合密度ネットワーク（MDNs）を組み合わせた新しい深層学習フレームワークを提案し、逆マイクロ構造材料設計問題を解決する。GANsによって低次元の潜在空間を学習し、MDNsによって目的の特性から潜在コードへの1対多のマッピングをモデル化することで、フレームワークは数秒で多様で高品質なマイクロ構造を生成し、望ましい光学的吸収特性を満たす。最適化ベースのベースラインと比較して、精度、多様性、速度の面で優れている。

ABSTRACT

Microstructural materials design is one of the most important applications of inverse modeling in materials science. Generally speaking, there are two broad modeling paradigms in scientific applications: forward and inverse. While the forward modeling estimates the observations based on known parameters, the inverse modeling attempts to infer the parameters given the observations. Inverse problems are usually more critical as well as difficult in scientific applications as they seek to explore the parameters that cannot be directly observed. Inverse problems are used extensively in various scientific fields, such as geophysics, healthcare and materials science. However, it is challenging to solve inverse problems, because they usually need to learn a one-to-many non-linear mapping, and also require significant computing time, especially for high-dimensional parameter space. Further, inverse problems become even more difficult to solve when the dimension of input (i.e. observation) is much lower than that of output (i.e. parameters). In this work, we propose a framework consisting of generative adversarial networks and mixture density networks for inverse modeling, and it is evaluated on a materials science dataset for microstructural materials design. Compared with baseline methods, the results demonstrate that the proposed framework can overcome the above-mentioned challenges and produce multiple promising solutions in an efficient manner.

研究の動機と目的

• 観測された材料特性からマイクロ構造的パrameterを推定する、材料科学における逆モデリングの課題に取り組む。
• 低次元の観測から高次元のマイクロ構造への1対多で非線形なマッピングを学習する難しさを克服する。
• 反復的最適化を単一のフォワードパス推論に置き換えることで、計算コストと時間を削減する。
• 高次元パrameter空間における真のデータ分布のカバレッジを向上させ、ソリューションの多様性を向上させる。
• 望ましい光学的吸収特性を持つ複数の候補マイクロ構造を、効率的かつスケーラブルに生成可能にする。

提案手法

• 高解像度のマイクロ構造画像（x）のコンactな低次元潜在表現（z）を学習するため、GANを訓練する。
• 訓練済みのGANのエンコーダーを用いてマイクロ構造画像を潜在ベクトルにマッピングし、次元削減を実現する。
• MDNを訓練して、条件付き分布p(z|y)をモデル化する。ここでyは目的の光学的吸収特性、zは潜在コードである。
• MDNは潜在コード上のガウス分布の混合を学習し、多様なマイクロ構造の1対多生成を可能にする。
• 推論時、MDNが予測する混合分布から複数のzベクトルをサンプリングし、GANの生成器を用いてマイクロ構造にデコードする。
• 反復的最適化を回避するため、学習済みの潜在空間を活用し、単一のフォワードパスでリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 GAN-MDNフレームワークは、材料特性からマイクロ構造的設計への逆マッピングを効果的に学習できるか？
• RQ2 最適化ベースの逆モデリングと比較して、本フレームワークはより多様で正確なマイクロ構造を生成できるか？
• RQ3 入力（特性）次元が出力（マイクロ構造）次元に比べて著しく小さい場合、本フレームワークはどのように性能を発揮するか？
• RQ4 高い推論速度を維持しながら、高いソリューション品質を達成できるか？
• RQ5 潜在空間表現の使用が、トレーニングの安定性とソリューションカバレッジをどのように向上させるか？

主な発見

• 提案されたGAN-MDNフレームワークは、ベースライン手法と比較して、目標値にはるかに近い光学的吸収特性を持つマイクロ構造を生成した。Data-Iでは最小相対誤差（REP）が0.002、Data-IIでは0.001を達成した。
• 本フレームワークは、Titan X GPU上で10秒未満で複数の多様な候補マイクロ構造を生成できたが、最適化ベース手法では収束まで数時間かかった。
• 最適化ベースの逆モデリングは、Data-Iの5つの目標特性のうち3つ、Data-IIの5つ中3つで収束しなかったのに対し、本フレームワークはそれを上回った。
• MDNベース手法は、Data-IにおいてPCA-MDNよりも優れた平均REPを達成し、データ分布のカバレッジと優れた安定性を示した。
• 異なるマイクロ構造サイズを持つ2つのデータセットにおいても一貫した性能を発揮したため、入力次元に強く依存しない堅牢性を示した。
• GANで学習された潜在コードの使用により、特性から画像への直接マッピングと比較して、MDNのトレーニングがより安定的かつ正確になった。