[論文レビュー] Unsupervised physics-informed disentanglement of multimodal data for high-throughput scientific discovery

Nathaniel Trask, Carianne Martinez+2 more|arXiv (Cornell University)|Feb 7, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本稿では、物理的制約を組み込んだ事前分布と低精度・高スループット測定値を融合させることで、マルチモーダルな科学的データの分離を実現する教師なし変分推論フレームワークであるPhysics-informed Multimodal Autoencoders (PIMA) を提案する。マルチモーダルな事後分布統合のためのエキスパートの積（product of experts）と、共有潜在クラスタを表すガウス・ミックス事前分布、構造的分離を実現する物理的制約付きエキスパートの混合（mixture of experts）を組み合わせることで、PIMA は正確なクロスモーダル生成を可能にする。実際、94.74%の分類精度で格子構造の画像から応力-ひずみ曲線を予測した。

ABSTRACT

We introduce physics-informed multimodal autoencoders (PIMA) - a variational inference framework for discovering shared information in multimodal scientific datasets representative of high-throughput testing. Individual modalities are embedded into a shared latent space and fused through a product of experts formulation, enabling a Gaussian mixture prior to identify shared features. Sampling from clusters allows cross-modal generative modeling, with a mixture of expert decoder imposing inductive biases encoding prior scientific knowledge and imparting structured disentanglement of the latent space. This approach enables discovery of fingerprints which may be detected in high-dimensional heterogeneous datasets, avoiding traditional bottlenecks related to high-fidelity measurement and characterization. Motivated by accelerated co-design and optimization of materials manufacturing processes, a dataset of lattice metamaterials from metal additive manufacturing demonstrates accurate cross modal inference between images of mesoscale topology and mechanical stress-strain response.

研究の動機と目的

• 高次元かつ異種のマルチモーダルデータセットにおいて、高価なラベル付けを伴わずに科学的指紋（fingerprints）を教師なしで発見すること。
• 高スループット材料探索におけるボトル neck を克服し、遅く高精度な測定を高速で低精度な代替測定に置き換えること。
• 物理法則や科学的事前知識を深層生成モデルに統合し、潜在表現の構造的かつ解釈可能な分離を実現すること。
• 共有潜在クラスタを用いて、低精度モダリティから高精度モダリティへのクロスモーダル生成モデリング（推論）を可能にすること。
• 実験的画像と物理ベースのモデルを統合的に統合する変分推論フレームワークを用いて、材料設計とプロセス最適化を加速すること。

提案手法

• 個々のモダリティ $X_i$ を共有潜在空間内でのガウス事後分布 $q(Z|X_i)$ に写像するユニモーダルエンコーダーを用いる。
• エキスパートの積（PoE）形式を用いて、ユニモーダルな事後分布を統合し、マルチモーダルな事後分布 $q(Z|\mathbf{X}) = \prod_i q(Z|X_i)$ を得る。これにより、補完的な情報統合が可能になる。
• 潜在空間にガウス・ミックス事前分布 $p(Z|c)$ を課し、科学的指紋を表す共有クロスモーダルクラスタ $c$ を特定する。
• 物理的制約付きエキスパートの混合（MoE）デコーダー $p(X_i|c,Z)$ を採用し、各エキスパートをパラメータ化された物理モデル（例：線形ひずみ硬化モデル）として定義することで、科学的インダクティブバイアスを埋め込む。
• 変分下界（ELBO）の期待最大化戦略を新規に考案し、閉形式積分を用いて効率的な学習を可能にする。
• ユニモーダルエンコーダーをマルチモーダル事後分布を再構築するように訓練することで、任意のモダリティ $X_i$ に対して $p(c|X_i)$ を推定するクロスモーダル推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師なしの深層生成モデルは、ラベルなしで異種の科学的モダリティ間で共有され解釈可能な表現を発見できるか？
• RQ2 マルチモーダルオートエンコーダーに物理的制約付きインダクティブバイアスを統合する方法は何か？ これにより、分離性と解釈可能性がどのように向上するか？
• RQ3 低精度で高スループットな測定（例：画像）を用いて、高精度で測定が遅い物理的応答（例：応力-ひずみ曲線）を正確に推定できるか？
• RQ4 エキスパートの混合による物理モデルの統合は、純粋にデータ駆動のアプローチと比較して、生成性能と科学的妥当性をどの程度向上させるか？
• RQ5 学習された潜在クラスタ（指紋）を用いて、異なるモダリティ間で物理的に妥当な新しいデータを生成できるか？

主な発見

• PIMAフレームワークは、画像データのみを用いて応力-ひずみ曲線の潜在クラスタを識別する際、94.74%の分類精度を達成し、強力なクロスモーダル推論能力を示した。
• モデルは、明確な機械的挙動（八面体およびギロイド格子）に対応する微細構造画像を効果的に生成でき、潜在クラスタからの有効な生成モデリングを示した。
• 物理的制約付きMoEデコーダー（特に線形ひずみ硬化モデル）を用いることで、降伏応力や弾性率といった重要な材料特性を捉えた物理的に解釈可能なフィットを実現した。
• フレームワークにより、低精度の画像測定データから高精度な機械的応答を正確にモデリングできるようになった。これにより、高コストな実験的特徴抽出への依存が軽減された。
• ガウス・ミックス事前分布による潜在空間の教師なしクラスタリングにより、明確な材料トポロジーと機械的応答に対応する自然なグループ化がデータに現れた。
• 本手法は、高速でアクセス可能なデータソースを用いて高価な測定の代替モデルを構築できることを示し、高スループット科学的発見の実現可能性を示した。