[论文解读] Explaining Genetic Programming Trees using Large Language Models

Paula Maddigan, Andrew Lensen+1 more|arXiv (Cornell University)|Mar 6, 2024

Evolutionary Algorithms and Applications被引用 6

一句话总结

本文介绍了 GP4NLDR，这是一个基于网络的仪表板，使用 ChatGPT 驱动的聊天机器人与检索增强生成来解释 GP-NLDR 树，在多个案例研究中展示了改进且以用户为中心的解释。

ABSTRACT

Genetic programming (GP) has the potential to generate explainable results, especially when used for dimensionality reduction. In this research, we investigate the potential of leveraging eXplainable AI (XAI) and large language models (LLMs) like ChatGPT to improve the interpretability of GP-based non-linear dimensionality reduction. Our study introduces a novel XAI dashboard named GP4NLDR, the first approach to combine state-of-the-art GP with an LLM-powered chatbot to provide comprehensive, user-centred explanations. We showcase the system's ability to provide intuitive and insightful narratives on high-dimensional data reduction processes through case studies. Our study highlights the importance of prompt engineering in eliciting accurate and pertinent responses from LLMs. We also address important considerations around data privacy, hallucinatory outputs, and the rapid advancements in generative AI. Our findings demonstrate its potential in advancing the explainability of GP algorithms. This opens the door for future research into explaining GP models with LLMs.

研究动机与目标

• 推进基于高斯过程的非线性降维（GP-NLDR）的可解释性。
• 展示一个以用户为中心、对 GP 树进行解释的对话式界面。
• 通过网页仪表板展示将大语言模型与 GP-NLDR 集成，以帮助非专业用户。
• 在基于 LLM 的可解释性 AI (XAI) 研究中，解决提示工程、数据隐私和幻觉问题。

提出的方法

• 将 GP4NLDR 构建为基于 Streamlit 的网页仪表板，运行 GP-NLDR 并显示每个嵌入维度的 GP 树。
• 引入一个 LLM 聊天机器人（通过 OpenAI API 的 GPT-3.5/4），具固定字数限制、提示工程和使用 FAISS 进行上下文背景检索的检索增强生成（RAG）。
• 使用 LangChain 将 LLM、RAG、记忆和工作流组件整合。
• 预加载示例并允许探索案例研究（Wine、Dermatology、COIL-20），使用不同的适应度函数和维度。
• 提供嵌入和适应度的可视化，以及用于估计嵌入质量的随机森林分类器基线。

实验结果

研究问题

• RQ1 基于 LLM 的聊天机器人是否能够为在 NLDR 中使用的 GP 树提供有意义、以用户为中心的解释？
• RQ2 提示工程和 RAG 如何影响 GP 场景中 LLM 解释的准确性和有用性？
• RQ3 在应用 LLMs 解释 GP 模型时，实际面临的挑战（隐私、幻觉）有哪些？
• RQ4 在不同规模和特征描述性的数据集上，带有 LLM 解释的 GP-NLDR 是否有效？

主要发现

• GP4NLDR 通过 GP 树和 LLM 对话实现了关于高维数据降维的直观叙事。
• 提示工程与检索增强降低幻觉并提高 LLM 解释的相关性。
• LLM 解释利用数据集特征名称来为嵌入提供上下文，使案例研究的可解释性提升。
• 在 Wine、Dermatology、COIL-20 的案例中，该系统展示了具有视觉与对话解释的有意义的 2D/3D 嵌入。
• 在嵌入质量方面存在可观察的权衡（例如 COIL-20 的嵌入准确度从 0.9868 降至 0.6375），在可解释性背景下进行讨论。
• 该平台公开可供探索与复现（GP4NLDR 应用）。