[논문 리뷰] Unsupervised physics-informed disentanglement of multimodal data for high-throughput scientific discovery

Nathaniel Trask, Carianne Martinez외 2명|arXiv (Cornell University)|2022. 02. 07.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 물리 법칙에 기반한 사전 지식을 융합한 저해상도, 고속 측정 데이터와 결합하여 다중모달 과학 데이터를 분리하는 데 목적이 있는 비지도 추론 프레임워크인 물리 기반 다중모달 오토인코더(PIMA)를 제안한다. 다중모달 사후 분포 융합을 위한 전문가의 제품(Product of Experts, PoE)과 공유된 잠재 클러스터를 나타내는 가우시안 혼합 사전 지식, 그리고 구조적인 분리에 기여하는 물리 기반 혼합 전문가(Mixture of Experts, MoE)를 결합함으로써 PIMA는 정확한 다중모달 생성을 가능하게 하였다. 이를 통해 레이저 조각 이미지에서 응력-변형 곡선을 94.74%의 정확도로 예측하는 데 성공하였다.

ABSTRACT

We introduce physics-informed multimodal autoencoders (PIMA) - a variational inference framework for discovering shared information in multimodal scientific datasets representative of high-throughput testing. Individual modalities are embedded into a shared latent space and fused through a product of experts formulation, enabling a Gaussian mixture prior to identify shared features. Sampling from clusters allows cross-modal generative modeling, with a mixture of expert decoder imposing inductive biases encoding prior scientific knowledge and imparting structured disentanglement of the latent space. This approach enables discovery of fingerprints which may be detected in high-dimensional heterogeneous datasets, avoiding traditional bottlenecks related to high-fidelity measurement and characterization. Motivated by accelerated co-design and optimization of materials manufacturing processes, a dataset of lattice metamaterials from metal additive manufacturing demonstrates accurate cross modal inference between images of mesoscale topology and mechanical stress-strain response.

연구 동기 및 목표

• 고비용 레이블링 없이 고차원적이고 이질적인 다중모달 데이터셋에서 과학적 지문을 비지도로 발견하기 위해.
• 저속도이지만 고정밀 측정이 필요한 전통적 방법을 대체하여 고속도 재료 발견의 성능 저하 문제를 해결하기 위해.
• 물리 법칙과 과학적 사전 지식을 딥 생성 모델에 통합하여 잠재 표현의 구조적이고 해석 가능한 분리화를 달성하기 위해.
• 공유된 잠재 클러스터를 활용하여 저해상도 모달리티에서 고해상도 모달리티를 추론하는 다중모달 생성 모델링을 가능하게 하기 위해.
• 실험적 이미지와 물리 기반 모델을 통합된 변분 추론 프레임워크에서 융합함으로써 재료 설계 및 공정 최적화를 가속화하기 위해.

제안 방법

• 개별 모달리티 $X_i$ 를 공유된 잠재 공간 내 가우시안 사후 분포 $q(Z|X_i)$ 로 매핑하기 위해 단일 모달 인코더를 사용한다.
• 다중모달 사후 분포 $q(Z|\mathbf{X}) = \prod_i q(Z|X_i)$ 를 도출하기 위해 전문가의 제품(PoE) 공식을 적용하여 상호보완적인 정보 통합을 가능하게 한다.
• 잠재 공간에 공유된 다중모달 클러스터 $c$ 를 나타내는 가우시안 혼합 사전 지식 $p(Z|c)$ 를 도입한다.
• 각 전문가가 물리 모델(예: 선형 변형 강화 모델)로 매개변수화된 물리 기반 혼합 전문가(MoE) 디코더 $p(X_i|c,Z)$ 를 활용하여 과학적 인덕티브 바이어스를 통합한다.
• 효율적인 훈련을 위해 닫힌 형태의 적분을 포함하는 변분 하한(ELBO)에 기반한 새로운 기대-최대화 전략을 통해 모델을 최적화한다.
• 모든 모달리티 $X_i$ 에 대해 $p(c|X_i)$ 를 추정할 수 있도록, 단일 모달 인코더를 다중모달 사후 분포를 재구성하도록 훈련시킴으로써 다중모달 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터로도 이질적인 과학적 모달리티 간에 공유되고 해석 가능한 표현을 비지도로 발견할 수 있는가?
• RQ2 다중모달 오토인코더에 물리 기반 인덕티브 바이어스를 어떻게 통합하여 분리화와 해석 가능성을 향상시킬 수 있는가?
• RQ3 저해상도, 고속 측정 데이터(예: 이미지)를 사용하여 고해상도, 측정이 느린 물리적 반응(예: 응력-변형 곡선)을 정확하게 추론할 수 있는가?
• RQ4 혼합 전문가를 통한 물리 모델 통합이 순수 데이터 기반 접근 방식에 비해 생성 성능과 과학적 정확성에서 얼마나 향상되는가?
• RQ5 학습된 잠재 클러스터(지문)를 활용하여 다양한 모달리티 간에 새로운 물리적으로 타당한 데이터를 생성할 수 있는가?

주요 결과

• PIMA 프레임워크는 오직 이미지 데이터만을 사용하여 응력-변형 곡선에 대한 잠재 클러스터를 식별하는 데 94.74%의 정확도를 달성하여 강력한 다중모달 추론 능력을 입증하였다.
• 모델은 옥타에드 및 지로이드 격자 구조에 해당하는 고해상도 미세구조 이미지를 성공적으로 생성하여, 잠재 클러스터에서 효과적인 생성 모델링을 수행함을 보였다.
• 물리 기반 MoE 디코더—특히 선형 변형 강화 모델—의 사용은 응력-변형 데이터에 대해 물리적으로 해석 가능한 피팅을 제공하였으며, 항복 응력과 탄성 모odulus와 같은 핵심 재료 특성을 잘 반영하였다.
• 이 프레임워크는 저해상도 이미징 데이터에서 고해상도 기계적 반응을 정확하게 생성 모델링할 수 있었으며, 고비용 실험적 특성 분석에 대한 의존도를 감소시켰다.
• 가우시안 혼합 사전 지식에 기반한 잠재 공간의 비지도 클러스터링은 고유한 재료 구조와 기계적 반응에 대응하는 자연스러운 데이터 그룹화를 드러내었다.
• 빠르고 접근 가능한 데이터 소스를 활용하여 고비용 측정의 대체 모델링을 가능하게 하여 고속도 과학적 발견의 가능성에 대한 타당성을 입증하였다.