[논문 리뷰] Toward Accurate Interpretable Predictions of Materials Properties within Transformer Language Models

Vadim Korolev, Pavel Protsenko|arXiv (Cornell University)|2023. 03. 21.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 자연어 시퀀스(예: 화학 조성, 대칭성, 기하학적 구조)로 재료를 표현하고, 사전에 훈련된 BERT 유사 모델(MatBERT)을 이 텍스트에 맞게 미세조정하여 정확하고 해석 가능한 재료 성질 예측을 위한 언어모델 기반 프레임워크를 제안한다. 이 방법은 다섯 가지 재료 성질에서 최신 기술 수준(SOTA)의 성능을 달성하며, 네트워크 기반의 결정 구조 모델보다도 뛰어나지만, SHAP, LIME, 통합 기울기와 같은 局부 해석 기법을 통해 인간이 이해할 수 있는 충실한 설명을 제공한다.

ABSTRACT

Property prediction accuracy has long been a key parameter of machine learning in materials informatics. Accordingly, advanced models showing state-of-the-art performance turn into highly parameterized black boxes missing interpretability. Here, we present an elegant way to make their reasoning transparent. Human-readable text-based descriptions automatically generated within a suite of open-source tools are proposed as materials representation. Transformer language models pretrained on 2 million peer-reviewed articles take as input well-known terms, e.g., chemical composition, crystal symmetry, and site geometry. Our approach outperforms crystal graph networks by classifying four out of five analyzed properties if one considers all available reference data. Moreover, fine-tuned text-based models show high accuracy in the ultra-small data limit. Explanations of their internal machinery are produced using local interpretability techniques and are faithful and consistent with domain expert rationales. This language-centric framework makes accurate property predictions accessible to people without artificial-intelligence expertise.

연구 동기 및 목표

• 복잡하고 투명하지 않은 표현 방식을 인간이 이해할 수 있는 텍스트로 대체하여 재료 성질 예측에서 정확도와 해석 가능성 간의 상충 관계를 해결하고자 한다.
• 재료 전용 텍스트에 대해 미세조정된 사전 훈련된 언어 모델을 활용하여 최소한의 레이블 데이터로도 정확한 성질 예측을 가능하게 하고자 한다.
• 다양한 XAI 기법(SHAP, LIME, IG, SM)을 토큰 수준에서 적용하여 모델 결정의 충실하고 국소적인 해석 가능성을 제공하고자 한다.
• 정량적 충실도 및 타당성 지표를 통해 모델 설명이 도메인 전문가의 근거와 일치하는지 검증하고자 한다.
• 텍스트 중심의 투명한 프레임워크를 통해 비AI 전문가인 재료 과학자들도 고급 AI 기반 재료 예측에 접근할 수 있도록 하고자 한다.

제안 방법

• 재료는 표준 용어(예: 'NaCl', '퍼보스카이트', '입방 대칭성', '팔면체 배치')로 구성된 자연어 시퀀스로 표현된다.
• 200만 건의 재료 과학 논문으로 사전 훈련된 MatBERT 모델을 사용하여 성질 예측 작업의 핵심 아키텍처로 활용한다.
• 세 가지 변형을 훈련한다: 원본 토크나이저를 사용한 무작위 BERT, MatBERT 토크나이저를 사용한 무작위 BERT, 그리고 MatBERT 토크나이저를 사용한 사전 훈련된 MatBERT.
• 세부 해석 가능성은 네 가지 기법을 통해 달성한다: 중요도 맵(SM), 통합 기울기(IG), LIME, 그리고 샤플리 값(Owen 값)을 사용하여 토큰 수준의 중요도 점수를 할당한다.
• 충실도는 상위 토큰 순위의 10%~100% 부분 집합에 대해 편향 곡선의 면적(AOPC)을 계산하여 종합성과 충분성 지표로 평가한다.
• 타당성은 모델이 생성한 근거와 전문가가 애너테이션한 근거를 F1 점수와 AUPRC로 비교하여 평가하며, 평균 근거 길이 k=10으로 설정한다.

실험 결과

연구 질문

• RQ1 자연어 기반 설명에서 유래한 텍스트 기반 재료 표현 방식이 그래프 신경망과 비교해 성질 예측에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 지역 해석 기법(SHAP, LIME, IG, SM)이 재료 과학 분야의 전문가 근거와 얼마나 잘 일치하는가?
• RQ3 미세조정된 언어 모델이 재료 성질 예측의 저데이터 환경에서 얼마나 일반화 가능한가?
• RQ4 다양한 설명 기법에서 충실도 지표(종합성 및 충분성)가 재료 성질 예측 맥락에서 어떻게 변화하는가?
• RQ5 언어 중심의 프레임워크가 기계 학습에 익숙지 않은 비전문가에게도 정확하고 해석 가능한 AI 예측을 가능하게 할 수 있는가?

주요 결과

• 완전한 기준 데이터셋을 사용할 때, 미세조정된 MatBERT 모델은 테스트한 다섯 가지 재료 성질 중 네 가지에서 결정 구조 그래프 네트워크를 능가한다.
• 모델은 초소형 데이터 환경에서도 높은 정확도를 달성하여, 매우 적은 레이블 예시로도 강력한 일반화 능력을 보여준다.
• SHAP, LIME, IG, SM으로 생성된 설명은 도메인 전문가의 근거와 일치하는 충실하고 일관된 설명을 제공하며, 높은 F1 점수(평균 F1 ≈ 0.85)와 AUPRC 값을 보였다.
• 종합성 및 충분성 지표(AOPC)는 강력한 충실도를 보이며, 모든 작업에서 대부분의 설명 기법에서 AOPC 값이 0.85를 초과한다.
• 이 방법은 AI 전문 지식 없이도 인간이 이해할 수 있는 투명한 모델 추론을 가능하게 하여 고급 성질 예측을 재료 과학자들이 접근할 수 있도록 한다.
• 밴드 갭 분류를 위한 훈련된 MatBERT 모델은 허깅페이스(Hugging Face)에서 공개되었으며, 전문가가 애너테이션한 데이터셋은 젠도(Zenodo)를 통해 공유되었다.