[논문 리뷰] Extracting human interpretable structure-property relationships in chemistry using XAI and large language models

Geemi P. Wellawatte, Philippe Schwaller|arXiv (Cornell University)|2023. 11. 07.

Machine Learning in Materials Science인용 수 6

한 줄 요약

XpertAI는 구조-성질 상관관계에 대한 인간이 이해할 수 있는 자연어 설명을 생성하기 위해 설명 가능한 인공지능(XAI)과 대규모 언어 모델(LLM) 및 과학 문헌을 통합하는 혁신적인 프레임워크이다. XAI 기반의 기능 중요도와 과학적으로 타당한 설명을 생성하는 LLM을 결합함으로써, XpertAI는 다섯 가지 사례 연구를 통해 분자의 데이터를 특정하고 접근하기 쉬우며 정확한 해석을 제공한다. 이는 블랙박스 기반의 기계학습 모델과 비전문가 사용자 간 격차를 메우는 데 성공하였다.

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging field in AI that aims to address the opaque nature of machine learning models. Furthermore, it has been shown that XAI can be used to extract input-output relationships, making them a useful tool in chemistry to understand structure-property relationships. However, one of the main limitations of XAI methods is that they are developed for technically oriented users. We propose the XpertAI framework that integrates XAI methods with large language models (LLMs) accessing scientific literature to generate accessible natural language explanations of raw chemical data automatically. We conducted 5 case studies to evaluate the performance of XpertAI. Our results show that XpertAI combines the strengths of LLMs and XAI tools in generating specific, scientific, and interpretable explanations.

연구 동기 및 목표

• 기계학습 모델의 투명성 부족 문제를 해결하기 위해 화학 분야에서의 구조-성질 상관관계에 대한 인간이 읽을 수 있는 설명을 생성하는 것.
• 기존 XAI 방법론의 한계를 극복하기 위해 비전문가가 사용하기 어려운 기술적 설명이 아닌 사용자 友好的인 설명을 제공하는 것.
• 대규모 언어 모델(LLM)을 활용해 과학 문헌의 출력 결과와 XAI 결과를 통합함으로써 설명의 과학적 정확성과 맥락적 관련성을 확보하는 것.
• 입력-출력 관계를 해석이 필요한 모든 데이터셋에 적용 가능한 일반화 가능하고 유연한 프레임워크를 개발하는 것.
• 구체적이고 이해하기 쉬우며 접근 가능한 설명을 제공함으로써 실험 및 계산 화학 분야에서 기계학습 모델의 신뢰도와 사용성을 향상시키는 것.

제안 방법

• 분자의 기능적 특성(분자 기초값 및 MACCS 키프로)을 기반으로 scikit-learn API를 사용한 XGBoost를 활용한 서rogate 기계학습 모델을 훈련한다.
• SHAP, LIME 등의 XAI 방법론을 적용하여 목표 성질 예측에 가장 영향을 미치는 분자의 기능적 특징을 식별한다.
• 미세조정된 LLM을 사용하여 XAI로 식별된 특징과 과학 문헌에서 확보한 증거를 통합하여 자연어 설명(NLE)을 생성한다.
• 각 설명이 데이터셋 고유의 특징과 관련된 참고 문헌에 기반하여 일반적인 문헌이 아닌 특정 데이터셋에 맞는 구체성을 확보한다.
• 용해도, 연소성 등 화학적 성질에 대한 사례 연구를 통해 설명을 검증하고, LLM 출력 결과를 전문 분야 지식과 비교한다.
• 입력-출력 관계를 해석이 필요한 분야 전반에 걸쳐 적용 가능한 모듈식이며 일반화 가능한 프레임워크로 설계한다.

Figure 1: Overview of XpertAI. The proposed tool combines XAI with LLMs to uncover human interpretable structure-property relationships from raw data.

실험 결과

연구 질문

• RQ1 XAI와 LLM을 융합하여 화학 분야에서 과학적으로 정확하고 인간이 이해할 수 있는 구조-성질 상관관계 설명을 생성할 수 있는가?
• RQ2 LLM이 일반적인 요약이 아닌 특정 데이터셋에 맞는 구체적인 설명을 어떻게 유도할 수 있는가?
• RQ3 LLM이 생성한 설명이 기존 화학 원리와 과학 문헌과 어느 정도 일치하는가?
• RQ4 XAI와 LLM의 통합이 화학 분야의 비기술 전문가를 대상으로 한 기계학습 모델의 접근성과 신뢰도를 향상시킬 수 있는가?
• RQ5 용해도나 연소성과 같은 성질을 가장 잘 예측하는 분자적 특징는 무엇이며, 이러한 특징의 역할은 자연어로 어떻게 명확히 전달할 수 있는가?

주요 결과

• XpertAI는 용해도 및 상한 연소성 한계를 포함한 다섯 가지의 구체적인 화학 구조-성질 상관관계에 대해 특정적이고 과학적으로 정확하며 이해하기 쉬운 자연어 설명을 성공적으로 생성하였다.
• 프레임워크는 HOMO 에너지, 분극 모멘트, 구조적 대칭성 등의 분자적 특징이 목표 성질과 어떻게 연결되는지를 올바르게 기술하였으며, 알려진 화학 원리와 일치하였다.
• 설명은 과학 문헌에 기반하여 제시되었으며, 분자 행동 및 반응성에 대한 주장에 관련 연구(예: Yuan et al., 2019)를 인용하여 뒷받침하였다.
• LLM이 생성한 설명은 XAI가 각 데이터셋에 대해 식별한 고유한 특징에 맞게 내용을 조정하여 일반적인 템플릿에 의존하지 않고도 적응 가능성을 보였다.
• 사례 연구 및 LLM 전용 또는 XAI 전용 접근 방식과의 비교를 통해, XpertAI는 설명 가능성, 접근성, 과학적 관련성 측면에서 베이스라인 방법을 뛰어넘는 성능을 보였다.
• 프레임워크는 일반화 가능성이 입증되었으며, 화학 분야를 넘어 입력-출력 관계를 해석이 필요한 모든 분야에 적용 가능할 잠재력을 지녔다.

Figure 2: Attributes of XpertAI explanations in comparison to baseline methods.