[논문 리뷰] Explaining Genetic Programming Trees using Large Language Models

Paula Maddigan, Andrew Lensen외 1명|arXiv (Cornell University)|2024. 03. 06.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

논문은 ChatGPT 기반 챗봇과 검색 강화 생성(RAG)을 사용하는 웹 기반 대시보드 GP4NLDR를 제시하여 GP-NLDR 트리를 설명하고, 사례 연구 전반에서 사용자 중심의 설명을 개선.

ABSTRACT

Genetic programming (GP) has the potential to generate explainable results, especially when used for dimensionality reduction. In this research, we investigate the potential of leveraging eXplainable AI (XAI) and large language models (LLMs) like ChatGPT to improve the interpretability of GP-based non-linear dimensionality reduction. Our study introduces a novel XAI dashboard named GP4NLDR, the first approach to combine state-of-the-art GP with an LLM-powered chatbot to provide comprehensive, user-centred explanations. We showcase the system's ability to provide intuitive and insightful narratives on high-dimensional data reduction processes through case studies. Our study highlights the importance of prompt engineering in eliciting accurate and pertinent responses from LLMs. We also address important considerations around data privacy, hallucinatory outputs, and the rapid advancements in generative AI. Our findings demonstrate its potential in advancing the explainability of GP algorithms. This opens the door for future research into explaining GP models with LLMs.

연구 동기 및 목표

• GP 기반 비선형 차원 축소(GP-NLDR)의 설명 가능성 향상.
• GP 트리를 해석하기 위한 사용자 중심 대화형 인터페이스를 선보인다.
• 비전문가 사용자를 돕기 위해 웹 대시보드를 통한 LLM과 GP-NLDR의 통합을 시연한다.
• LLM 기반 XAI에서 프롬프트 엔지니어링, 데이터 프라이버시 및 환각 문제를 다룬다.

제안 방법

• GP-NLDR를 실행하고 각 임베딩 차원에 대한 GP 트를 표시하는 Streamlit 기반 웹 대시보드로 GP4NLDR를 구축한다.
• 고정 단어 수 제한, 프롬프트 엔지니어링, 그리고 FAISS를 활용한 맥락 배경 retrieval augmented generation(RAG)을 포함한 OpenAI API를 통한 GPT-3.5/4의 LLM 챗봇을 통합한다.
• LangChain을 사용해 LLM, RAG, 메모리 및 워크플로우 컴포넌트를 통합한다.
• 사전 로드 예제를 사용하고 서로 다른 피트니스 함수와 차원 수를 가진 사례 연구(Wine, Dermatology, COIL-20)의 탐색을 가능하게 한다.
• 임베딩 및 피트니스 시각화와 임베딩 품질 추정용 랜덤 포레스트 분류기 베이스라인을 제공한다.

실험 결과

연구 질문

• RQ1 NLDR에 사용된 GP 트리에 대해 LLM 기반 챗봇이 의미 있고 사용자 중심의 설명을 제공할 수 있는가?
• RQ2 프롬프트 엔지니어링과 RAG가 GP 맥 context에서 LLM 설명의 정확성과 유용성에 어떤 영향을 미치는가?
• RQ3 GP 모델을 설명하는 데 LLM을 적용할 때의 실용적 도전과제(개인정보 보호, 환각)는 무엇인가?
• RQ4 다양한 크기와 특징 설명성이 있는 데이터셋에서 GP-NLDR과 LLM 설명이 효과적인가?

주요 결과

• GP4NLDR은 GP 트리와 LLM 대화를 통해 고차원 데이터 축소에 대한 직관적인 서사를 가능하게 한다.
• 프롬프트 엔지니어링과 검색 보강은 환각을 줄이고 LLM 설명의 관련성을 향상시킨다.
• LLM 설명은 데이터셋의 특징 이름을 활용해 임베딩을 맥락화하고 사례 연구의 해석 가능성을 높인다.
• Wine, Dermatology, COIL-20에서 시스템은 시각적 및 대화식 설명이 포함된 의미 있는 2D/3D 임베딩을 보여주었다.
• 해석 가능성과 관련된 맥락에서 COIL-20 임베딩 정확도 하락(0.9868에서 0.6375)은 임베딩 품질의 트레이드오프를 보여준다.
• 플랫폼은 탐색 및 재현성을 위해 공개적으로 이용 가능하다(GP4NLDR 앱).