[논문 리뷰] Explainable Deep Learning for Uncovering Actionable Scientific Insights for Materials Discovery and Design

Shusen Liu, Bhavya Kailkhura외 5명|arXiv (Cornell University)|2020. 07. 16.

Machine Learning in Materials Science참고 문헌 38인용 수 5

한 줄 요약

이 논문은 재료 과학 분야의 딥러닝 모델을 탐색하기 위해 조절 가능한 재료 특성(예: 결정 크기, 다분산성)을 '노브'로 사용하는 도메인 인식형, 생성형 해석 가능한 AI 프레임워크를 제안한다. 제어된 특성(예: 결정 크기, 다분산성)을 가진 가상의 SEM 이미지를 생성함으로써, 평균 결정 크기를 줄이면 예측된 최대 응력이 증가하는 등의 실질적인 통찰을 드러내며, 블랙박스 모델에서 직접 설계 규칙를 도출할 수 있도록 한다.

ABSTRACT

The scientific community has been increasingly interested in harnessing the power of deep learning to solve various domain challenges. However, despite the effectiveness in building predictive models, fundamental challenges exist in extracting actionable knowledge from deep neural networks due to their opaque nature. In this work, we propose techniques for exploring the behavior of deep learning models by injecting domain-specific actionable attributes as tunable "knobs" in the analysis pipeline. By incorporating the domain knowledge in a generative modeling framework, we are not only able to better understand the behavior of these black-box models, but also provide scientists with actionable insights that can potentially lead to fundamental discoveries.

연구 동기 및 목표

• 모델의 투명성이 낮아 과학적 통찰 추출이 어려운 과학 분야에서 블랙박스 딥러닝 모델을 해석하는 데 도전한다.
• 픽셀 수준의 설명 방법(예: GradCAM)이 도메인 전문가에게 의미 있는 해석 가능한 과학적 개념을 전달하지 못하는 한계를 극복한다.
• 특정 재료 특성(예: 결정 크기, 다공성)의 변화가 예측된 재료 성질(예: 최대 응력)에 미치는 영향을 과학자들이 이해할 수 있도록 한다.
• 모델 행동에 기반한 실질적이고 직관적이며 시각적으로 기반한 재료 합성 지침을 제공한다.
• 개별 예측 수준과 재료 량 전체 수준의 모델 행동 분석을 모두 지원하는 일반화 가능한 파이프라인을 개발한다.

제안 방법

• 도메인 특화 특성(예: 결정 크기, 다분산성, 면성)을 조건부 생성 모델링 프레임워크 내에서 제어 가능한 변수로 통합한다.
• 훈련된 생성 모델(예: GAN)을 사용해 사용자가 정의한 특성 값에 해당하는 현실적인 가상의 SEM 이미지를 생성한다.
• 핵심 특성에 따라 생성 모델을 조건화하여, 더 작은 또는 더 다분산적인 결정을 반영한 이미지 테일을 생성한다.
• 예측용 딥 뉴럴 네트워크(DNN)를 이러한 생성된 이미지에 적용하여 특성 변화에 따른 예측된 최대 응력의 변화를 분석한다.
• 최적의 출력(예: 최대 응력)을 극대화하는 특성 조합을 찾기 위해 최적화 기반 접근법을 구현한다.
• 개별 예측의 설명과 전체 재료 량에 걸친 집합적 분석을 결합하여 일관성과 강력한 추세를 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 예측에 대해 픽셀 수준의 색소 지도를 넘어서 과학적으로 해석 가능한 의미 있는 설명을 어떻게 생성할 수 있는가?
• RQ2 가공된 미세구조에서 도메인 특성(예: 결정 크기)을 제어적으로 조작함으로써 예측된 재료 성질과의 인과 관계를 어느 정도 드러낼 수 있는가?
• RQ3 가상의 재료 미세구조를 탐색함으로써 모델 행동에서 실질적이고 합성에 바로 적용 가능한 설계 규칙를 유도할 수 있는가?
• RQ4 여러 특성이 함께 예측된 최대 응력에 어떻게 영향을 미치며, 분석에서 어떤 최적의 조합이 도출되는가?
• RQ5 제안된 방법이 전체 재료 량에 걸쳐 일관되게 추세를 드러내어 개별 예측을 넘어서 신뢰할 수 있는 통찰을 제공하는가?

주요 결과

• 평균 결정 크기를 줄이고 다분산성을 높이는 것은 개별 이미지 테일과 전체 재료 량 모두에서 예측된 최대 응력의 증가와 일관되게 연관되어 있었다.
• 모델는 결정 크기를 줄이는 것이 예측된 최대 응력 향상에 가장 효과적인 단일 요인임을 확인했으며, 이는 TATB를 분쇄하는 것과 같은 알려진 실험 기법과 일치했다.
• 이 방법은 다분산성이 높아지면 입자 packing 밀도가 증가함을 확인했으며, 이는 재료 가공에서 알려진 메커니즘이므로 과학적 관련성을 검증했다.
• 개별 사례에서의 역방향 설명과 전체 량에 대한 전방향 분석 간 일관된 추세가 나타나, 이 방법의 신뢰성을 입증했다.
• 생성된 가상의 SEM 이미지는 최적의 미세구조를 직관적이고 시각적으로 기반한 표현을 제공하여 과학자들이 목표 합성 조건을 시각화할 수 있도록 했다.
• 이 프레임워크는 추상적인 모델 행동을 실질적이고 도메인 특화된 지침으로 성공적으로 변환하여, 추가 실험 없이도 실제 재료 합성에 지도할 수 있도록 했다.