[논문 리뷰] A Transfer Learning Approach for Microstructure Reconstruction and Structure-property Predictions

Xiaolin Li, Yichi Zhang외 4명|arXiv (Cornell University)|2018. 05. 08.

Machine Learning in Materials Science참고 문헌 33인용 수 34

한 줄 요약

이 논문은 다양한 물성 시스템에 적용 가능한 전이학습 기반 딥러닝 프레임워크를 제안한다. 특징 매칭 최적화와 모델 프루닝을 통해 계층적 미세구조 특징을 추출하는 인코더-디코더 아키텍처를 활용함으로써, 광범위한 초모수 조정이나 도메인 전용 사전 지식 없이도 일반화 가능한 오프더쇼프 예측을 가능하게 한다. 이는 기하학적 복잡도가 다양한 복잡한 미세구조에서 뛰어난 성능을 보여준다.

ABSTRACT

Stochastic microstructure reconstruction has become an indispensable part of computational materials science, but ongoing developments are specific to particular material systems. In this paper, we address this generality problem by presenting a transfer learning-based approach for microstructure reconstruction and structure-property predictions that is applicable to a wide range of material systems. The proposed approach incorporates an encoder-decoder process and feature-matching optimization using a deep convolutional network. For microstructure reconstruction, model pruning is implemented in order to study the correlation between the microstructural features and hierarchical layers within the deep convolutional network. Knowledge obtained in model pruning is then leveraged in the development of a structure-property predictive model to determine the network architecture and initialization conditions. The generality of the approach is demonstrated numerically for a wide range of material microstructures with geometrical characteristics of varying complexity. Unlike previous approaches that only apply to specific material systems or require a significant amount of prior knowledge in model selection and hyper-parameter tuning, the present approach provides an off-the-shelf solution to handle complex microstructures, and has the potential of expediting the discovery of new materials.

연구 동기 및 목표

• 기존의 개별 물성 시스템에 특화되어 있으며 광범위한 도메인 전용 조정이 필요한 미세구조 복원 방법의 한계를 극복하기 위해.
• 재훈련이 최소한으로 필요한 다양한 재료에 즉시 적용 가능한 일반화 가능한 딥러닝 프레임워크를 개발하기 위해.
• 사전 훈련된 네트워크에서 모델 프루닝을 통해 추출한 지식을 활용하여 구조-성질 예측 모델의 아키텍처와 초기화를 안내하기 위해.
• 다양한 작업 간에 학습된 특징을 전이하여, 미세구조 데이터의 소량으로도 정확한 미세구조 복원 및 성질 예측을 가능하게 하기 위해.
• 재료 모델링에서 모델 선택 및 초모수 조정에 대한 전문 지식 의존도를 줄이기 위해.

제안 방법

• 통계적 묘사자로부터 미세구조를 복원하기 위해 딥 컨volution 레이어 기반의 인코더-디코더 네트워크를 사용한다.
• 훈련 중에 실제와 생성된 미세구조 간의 중간 특징 표현을 일치시키기 위해 특징 매칭 최적화를 적용한다.
• 훈련된 인코더에 대해 모델 프루닝을 적용하여 네트워크 계층 간의 계층적 미세구조 특징을 식별하고 추출한다.
• 프루닝된 인코더의 학습된 특징을 별도의 구조-성질 예측 모델의 아키텍처 및 초기화에 활용한다.
• 하류 성질 예측 작업을 위해 사전 훈련된 인코더 특징을 고정된 특징 추출기로 재사용함으로써 전이학습을 적용한다.
• 기하학적 복잡도가 다양하고 복잡한 형태 및 다상 구조를 포함한 다양한 재료의 미세구조에서 이 방법을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 한 물성 시스템에서 훈련된 딥러닝 프레임워크가 다른 상이한 물성 시스템의 미세구조 복원 및 성질 예측에 일반화될 수 있는가?
• RQ2 사전 훈련된 네트워크에서 계층적 미세구조 특징을 어떻게 추출하여 구조-성질 모델링을 안내할 수 있는가?
• RQ3 전이학습이 미세구조 모델링에서 초모수 조정 및 도메인 전용 지식의 필요성을 얼마나 줄일 수 있는가?
• RQ4 복원 네트워크의 모델 프루닝이 성질 예측에 관련된 해석 가능한 미세구조 특징을 드러낼 수 있는가?
• RQ5 제안된 방법이 제한된 훈련 데이터로도 높은 정확도의 미세구조 복원 및 성질 예측을 달성할 수 있는가?

주요 결과

• 제안된 전이학습 프레임워크는 시스템 전용 재훈련이나 광범위한 초모수 조정 없이도 다양한 물성 시스템에서 고해상도의 미세구조 복원을 달성한다.
• 모델 프루닝은 구조적 복잡도와 관련된 상관관계가 있으며 매크로스코픽 성질을 예측하는 데 기여하는 계층적 미세구조 특징을 성공적으로 식별한다.
• 복원 네트워크의 프루닝에서 확득한 지식은 하류의 구조-성질 예측 모델의 정확도 및 수렴 속도를 크게 향상시킨다.
• 이 방법은 뛰어난 일반화 능력을 보이며, 복잡한 기하학적 형태와 다상 구조를 가진 미세구조에서도 정확한 예측을 달성한다.
• 모델 설계 및 초모수 선택에 대한 전문 지식 의존도를 줄여 재료 탐색을 위한 오프더쇼프 솔루션을 가능하게 한다.
• 정량적 평가 결과, 특히 저자료 환경에서 복원 정밀도와 예측 정확도 면에서 기존 방법보다 프레임워크가 뛰어난 성능을 보였다.