[論文レビュー] Extracting human interpretable structure-property relationships in chemistry using XAI and large language models

Geemi P. Wellawatte, Philippe Schwaller|arXiv (Cornell University)|Nov 7, 2023

Machine Learning in Materials Science被引用数 6

ひとこと要約

XpertAIは、説明可能なAI（XAI）と大規模言語モデル（LLM）および科学文献を統合する画期的なフレームワークであり、化学における構造-性質関係の自然言語による人間が理解可能な説明を生成する。XAIによる特徴の重要度とLLMによる科学的に裏付けられた説明を組み合わせることで、XpertAIは5つの事例研究を通じて、特定的でアクセス可能で正確な分子データの解釈を提供し、ブラックボックス型の機械学習モデルと非専門家ユーザーの間の溝を埋める能力を示している。

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging field in AI that aims to address the opaque nature of machine learning models. Furthermore, it has been shown that XAI can be used to extract input-output relationships, making them a useful tool in chemistry to understand structure-property relationships. However, one of the main limitations of XAI methods is that they are developed for technically oriented users. We propose the XpertAI framework that integrates XAI methods with large language models (LLMs) accessing scientific literature to generate accessible natural language explanations of raw chemical data automatically. We conducted 5 case studies to evaluate the performance of XpertAI. Our results show that XpertAI combines the strengths of LLMs and XAI tools in generating specific, scientific, and interpretable explanations.

研究の動機と目的

• 機械学習モデルの不透明性を解消するために、構造-性質関係の自然言語による人間が読みやすい説明を生成すること。
• 従来のXAI手法の限界を克服し、非専門家にとって使いにくい技術的でない説明を提供すること。
• 科学文献とXAIの出力を大規模言語モデル（LLM）を用いて統合し、説明の科学的正確性と文脈的関連性を保証すること。
• 入出力関係の解釈を必要とする任意のデータセットに対して、カスタマイズ可能な自然言語説明を生成できる汎用的で柔軟なフレームワークを開発すること。
• 具体的で解釈可能でアクセス可能な説明を提供することで、実験的・計算的化学分野における機械学習モデルの信頼性と使いやすさを向上させること。

提案手法

• 分子記述子とMACCSキーワードを含む特徴化された分子データに対して、スクラッチ・ライブラリAPIを用いたXGBoostを用いたスレーブ機械学習モデルを訓練する。
• SHAPやLIMEなどのXAI手法を適用し、目的の性質を予測するために最も影響力のある分子特徴を同定する。
• 微調整されたLLMを用いて、XAIで同定された特徴と科学文献からの証拠を統合して自然言語説明（NLE）を生成する。
• 各説明をデータセット固有の特徴と関連する参照文献に基づいて根拠づけることで、一般の文献に依存するのではなく、特定性を保証する。
• 溶解度や引火性など、さまざまな化学的性質に関する事例研究を通じて説明を検証し、LLMの出力と分野特化型の知識を比較する。
• 入出力関係の解釈を必要とする分野に一般化可能なモジュラーで汎用的なフレームワークとして設計する。

Figure 1: Overview of XpertAI. The proposed tool combines XAI with LLMs to uncover human interpretable structure-property relationships from raw data.

実験結果

リサーチクエスチョン

• RQ1 XAIとLLMを統合することで、化学における科学的に正確で人間が理解可能な構造-性質関係の説明を生成できるか？
• RQ2 LLMはどのようにして一般化された要約ではなく、データセットに特化した具体的な説明を生成できるか？
• RQ3 LLMが生成する説明は、確立された化学的原則や科学文献とどの程度一致するか？
• RQ4 XAIとLLMの統合により、化学分野の非技術的ユーザーに対する機械学習モデルのアクセス性と信頼性は向上するか？
• RQ5 溶解度や引火性といった性質を最も予測する分子的特徴は何か、そしてその役割は自然言語で明確に伝えられるか？

主な発見

• XpertAIは、溶解度や上部引火限界を含む5つの異なる化学的構造-性質関係について、特定的で科学的に正確で解釈可能な自然言語説明を成功裏に生成した。
• フレームワークは、HOMOエネルギー、双極子モーメント、構造的対称性といった分子的特徴を、既知の化学的原則と整合する形で目的の性質と結びつけた。
• 説明は科学文献に基づいており、例えばYuanら（2019）の研究など関連する研究を引用して、分子の挙動や反応性に関する主張を裏付けた。
• LLMが生成した説明は適応性を示し、XAIが各データセットで同定した特徴に応じて内容をカスタマイズしており、一般化されたテンプレートに依存するのではなく、特定の特徴に基づいていた。
• 事例研究およびLLM単体またはXAI単体のアプローチとの比較を通じて、XpertAIは解釈可能性、アクセス性、科学的関連性の面でベースライン手法を上回った。
• フレームワークは汎用的であることが実証され、化学分野を超えて、入出力関係の解釈を必要とするあらゆる分野への応用が可能である。

Figure 2: Attributes of XpertAI explanations in comparison to baseline methods.