[논문 리뷰] A General Framework Combining Generative Adversarial Networks and Mixture Density Networks for Inverse Modeling in Microstructural Materials Design

Zijiang Yang, Dipendra Jha외 4명|arXiv (Cornell University)|2021. 01. 26.

Machine Learning in Materials Science참고 문헌 11인용 수 5

한 줄 요약

이 논문은 생성적 적대 기반 네트워크(GANs)와 혼합 밀도 네트워크(MDNs)를 조합한 새로운 딥러닝 프레임워크를 제안하여 역설계 문제를 해결한다. GANs를 통해 저차원 잠재공간을 학습하고, 목표 성질에서 잠재 코드로의 일대다 맵핑을 MDNs로 모델링함으로써, 이 프레임워크는 초당 빠른 속도로 다양하고 고품질의 미세구조를 생성하여 원하는 광흡수 성질을 충족시키며, 최적화 기반 기준선 대비 정확도, 다양성, 속도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Microstructural materials design is one of the most important applications of inverse modeling in materials science. Generally speaking, there are two broad modeling paradigms in scientific applications: forward and inverse. While the forward modeling estimates the observations based on known parameters, the inverse modeling attempts to infer the parameters given the observations. Inverse problems are usually more critical as well as difficult in scientific applications as they seek to explore the parameters that cannot be directly observed. Inverse problems are used extensively in various scientific fields, such as geophysics, healthcare and materials science. However, it is challenging to solve inverse problems, because they usually need to learn a one-to-many non-linear mapping, and also require significant computing time, especially for high-dimensional parameter space. Further, inverse problems become even more difficult to solve when the dimension of input (i.e. observation) is much lower than that of output (i.e. parameters). In this work, we propose a framework consisting of generative adversarial networks and mixture density networks for inverse modeling, and it is evaluated on a materials science dataset for microstructural materials design. Compared with baseline methods, the results demonstrate that the proposed framework can overcome the above-mentioned challenges and produce multiple promising solutions in an efficient manner.

연구 동기 및 목표

• 관측된 재료 성질에서 미세구조적 매개변수를 유추해야 하는 재료 과학 분야의 역모델링 문제에 대응한다.
• 저차원 관측치에서 고차원 미세구조로의 일대다 비선형 맵핑을 학습하는 데 어려움을 극복한다.
• 반복 최적화를 단일 전방 전파 추론으로 대체함으로써 계산 비용과 시간을 절감한다.
• 고차원 매개변수 공간에서 진짜 데이터 분포의 커버리지와 해의 다양성을 향상시킨다.
• 원하는 광흡수 성질을 갖는 다수의 후보 미세구조를 효율적이고 확장 가능하게 생성할 수 있도록 한다.

제안 방법

• 고해상도 미세구조 이미지(x)의 압축된 저차원 잠재 표현(z)을 학습하기 위해 GAN을 훈련한다.
• 훈련된 GAN의 인코더를 사용해 미세구조 이미지를 잠재 벡터로 매핑함으로써 차원 축소를 실현한다.
• 목표 광흡수 성질(y)과 잠재 코드(z) 사이의 조건부 분포 p(z|y)를 모델링하기 위해 MDN을 훈련한다.
• MDN은 잠재 코드 상에서 다수의 정규분포 혼합을 학습하여 다양한 미세구조의 일대다 생성을 가능하게 한다.
• 추론 단계에서는 MDN이 예측한 혼합 분포에서 다수의 z 벡터를 샘플링하고, GAN 생성기로 이를 복원하여 미세구조를 생성한다.
• 학습된 잠재공간을 활용함으로써 반복 최적화를 피하고 단일 전방 전파 추론을 통해 실시간 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 GAN-MDN 프레임워크는 재료 성질에서 미세구조 설계로의 역맵핑을 효과적으로 학습할 수 있는가?
• RQ2 최적화 기반 역설계 방법에 비해 이 프레임워크는 더 다양하고 정확한 미세구조를 생성하는가?
• RQ3 입력(성질) 차원이 출력(미세구조) 차원보다 훨씬 작은 경우 프레임워크는 어떻게 성능을 발휘하는가?
• RQ4 고속 추론을 달성하면서도 높은 해의 품질을 유지할 수 있는가?
• RQ5 잠재공간 표현의 사용이 훈련 안정성과 해의 커버리지에 어떻게 기여하는가?

주요 결과

• 제안된 GAN-MDN 프레임워크는 기준선 방법에 비해 목표 성질에 훨씬 더 가까운 광흡수 성질을 갖는 미세구조를 생성하며, Data-I에서 최소 상대오차(REP) 0.002, Data-II에서 0.001를 기록했다.
• 이 프레임워크는 테이터X GPU에서 10초 이내로 다수의 다양하고 후보 미세구조를 생성하는 데 성공했으며, 최적화 기반 방법은 수시간이 소요되어 수렴하지 못했다.
• 최적화 기반 역설계 방법은 Data-I에서 5개의 목표 성질 중 3개, Data-II에서는 5개 중 3개에서 수렴하지 못했지만, 이 프레임워크는 이를 초월하여 성능을 발휘했다.
• MDN 기반 방법은 Data-I에서 PCA-MDN보다 평균 REP가 우수하여 데이터 분포의 안정성과 커버리지가 뛰어나다는 것을 보여주었다.
• 다른 크기의 미세구조를 가진 두 데이터셋 모두에서 일관된 성능을 유지함으로써, 입력 차원의 변화에 대해 강건함을 입증했다.
• GAN가 학습한 잠재 코드를 사용함으로써, 성질에서 이미지로 직접 매핑하는 것보다 더 안정적이고 정확한 MDN 훈련이 가능했다.