[論文レビュー] An efficient plasma-surface interaction surrogate model for sputtering processes based on autoencoder neural networks

Tobias Gergs, Borislav Borislavov+1 more|arXiv (Cornell University)|Sep 3, 2021

Nuclear Materials and Properties参考文献 32被引用数 24

ひとこと要約

本稿では、プラズマ-表面スパッタリング過程の物理的制約付きで自己符号化器に基づく代替モデルを提案し、高次元のエネルギー-角度分布（EAD）を2成分の潜在空間に低次元化する。条件付きβ-変分オートエンコーダーと転移学習を活用することで、標準的な多層パーセプトロンの0.378%にあたる15,111パラメータでのみ、可変なTi-Alストイキオメトリとイオンエネルギー分布の効率的かつ一般化可能なモデリングを実現した。

ABSTRACT

Simulations of thin film sputter deposition require the separation of the plasma and material transport in the gas-phase from the growth/sputtering processes at the bounding surfaces. Interface models based on analytic expressions or look-up tables inherently restrict this complex interaction to a bare minimum. A machine learning model has recently been shown to overcome this remedy for Ar ions bombarding a Ti-Al composite target. However, the chosen network structure (i.e., a multilayer perceptron) provides approximately 4 million degrees of freedom, which bears the risk of overfitting the relevant dynamics and complicating the model to an unreliable extend. This work proposes a conceptually more sophisticated but parameterwise simplified regression artificial neural network for an extended scenario, considering a variable instead of a single fixed Ti-Al stoichiometry. A convolutional $\beta$-variational autoencoder is trained to reduce the high-dimensional energy-angular distribution of sputtered particles to a latent space representation of only two components. In addition to a primary decoder which is trained to reconstruct the input energy-angular distribution, a secondary decoder is employed to reconstruct the mean energy of incident Ar ions as well as the present Ti-Al composition. The mutual latent space is hence conditioned on these quantities. The trained primary decoder of the variational autoencoder network is subsequently transferred to a regression network, for which only the mapping to the particular latent space has to be learned. While obtaining a competitive performance, the number of degrees of freedom is drastically reduced to 15,111 and 486 parameters for the primary decoder and the remaining regression network, respectively. The underlying methodology is general and can easily be extended to more complex physical descriptions with a minimal amount of data required.

研究の動機と目的

• プラズマ-表面相互作用のシミュレーションにおいて、高パラメータ数の機械学習モデルの計算非効率性と過学習リスクを解消すること。
• 従来のスパッタリング粒子EAD予測の研究を拡張し、可変なTi-Alストイキオメトリを調整可能な表面パラメータとして組み込むこと。
• 条件付き変分オートエンコーダーを用いて、複雑な高次元EADデータの次元削減を実現するとともに、物理的妥当性を保持すること。
• 事前学習済みのデコーダーを軽量モデルに転送することで、最小限のパラメータ数で効率的な回帰を可能にする転移学習を活用すること。
• 分子動力学シミュレーションのような計算的に高コストな物理的状況に適した、一般化可能でデータ効率の良いフレームワークの開発

提案手法

• 入射ArイオンエネルギーとTi-Al組成を条件とする2次元潜在空間に、30×20のエネルギー-角度分布（EAD）データを圧縮するための畳み込み型β-変分オートエンコーダー（β-VAE）を訓練する。
• デュアルデコーダー構造を実装：主デコーダーは完全なEADを再構築し、副デコーダーは共有された潜在空間から平均入射イオンエネルギーと表面ストイキオメトリを予測する。
• 転移学習を適用：事前学習済みのβ-VAEエンコーダーとデコーダーを固定し、入力イオンエネルギー分布から潜在空間へのマッピングを行う回帰ヘッドのみを微調整する。
• 畳み込み層との互換性を確保し、学習安定性を向上させるために2の累乗のパディング戦略を採用する。
• TRIDYNスパッタリングシミュレーションにより生成された、1,350サンプル（ストイキオメトリx = 0.3, 0.5, 0.7あたり450サンプルずつ）の小規模で現実的なデータセットでモデルを訓練する。
• 分布外データ（x = 0.2, 0.4, 0.8）を用いた検証により、補間および外挿性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付きβ-変分オートエンコーダーは、複雑で多成分のスパッタリング粒子エネルギー-角度分布の次元削減を、物理的妥当性を保持したまま効果的に行えるか？
• RQ2 変分オートエンコーダーから事前学習済みデコーダーを回帰ネットワークに転送することで、予測精度を損なわずモデルの複雑さを著しく低減できるか？
• RQ3 限られた訓練データで、未観測のTi-Alストイキオメトリ（補間および外挿）に対して、得られた代替モデルはどの程度一般化できるか？
• RQ4 標準的な多層パーセプトロンと比較して、スパッタリング過程モデリングにおいて競争力のある性能を維持しながら、何割のトレーナブルパラメータ数を削減できるか？

主な発見

• 提案モデルは、主デコーダーのトレーナブルパラメータ数を15,111（標準的多層パーセプトロンの0.378%）にまで削減し、過学習のリスクを著しく低減した。
• 残りの回帰ネットワークはたった486パラメータ（MLPの0.012%）で、非常に効率的な推論とデプロイメントを可能にした。
• 1,350サンプルの小規模データセットでも、さまざまなArイオンエネルギーとTi-Al組成におけるEADの予測精度が競争的であった。
• 未観測のストイキオメトリ（x = 0.2, 0.4, 0.8）への一般化は、補間および外挿性能の両面で強固な能力を示し、高い転送性を裏付けた。
• 条件付きβ-VAEアーキテクチャは、EADの構造と主要な物理的入力（イオンエネルギーと組成）をエンコードする、分離された2次元潜在空間を効果的に学習した。
• 本手法は一般化可能であり、追加のデータを最小限に抑えて、動的表面特性やより複雑な材料系への応用も容易に拡張可能である。