[논문 리뷰] On the Potential of Artificial Intelligence Chatbots for Data Exploration of Federated Bioinformatics Knowledge Graphs

Ana-Claudia Sima, Tarcisio Mendes de Farias|arXiv (Cornell University)|2023. 04. 20.

FinTech, Crowdfunding, Digital Finance인용 수 4

한 줄 요약

이 논문은 피드레디티드 생물정보학 지식 그래프에서 자연어 기반 데이터 탐색을 촉진하기 위해 대규모 언어 모델 챗봇(예: ChatGPT)의 사용을 탐구한다. 이러한 모델이 데이터셋을 요약하고, SPARQL 쿼리를 설명하며, 자연어에서 피드레디티드 쿼리를 생성할 수 있음을 보여주지만, 환상(hallucinations)과 일관성 없는 추론과 같은 뚜렷한 한계를 보이고 있다.

ABSTRACT

In this paper, we present work in progress on the role of artificial intelligence (AI) chatbots, such as ChatGPT, in facilitating data access to federated knowledge graphs. In particular, we provide examples from the field of bioinformatics, to illustrate the potential use of Conversational AI to describe datasets, as well as generate and explain (federated) queries across datasets for the benefit of domain experts.

연구 동기 및 목표

• 대화형 AI 모델이 자연어 질문을 SPARQL 쿼리로 번역함으로써 피드레디티드 생물정보학 지식 그래프에 대한 액세스를 향상시킬 수 있는지 조사하기.
• AI 챗봇이 도메인 전문가의 데이터 탐색성과 재사용 가능성을 향상시키기 위해 데이터셋 내용을 요약하는 데서의 역할을 평가하기.
• 챗봇이 여러 공공 생물정보학 데이터베이스를 아우르는 피드레디티드 SPARQL 쿼리를 설명하고 생성할 수 있는 능력을 평가하기.
• 현재 LLM 기반 접근법의 주요 한계, 특히 환상과 재현 불가능성 등의 문제를 과학적 데이터 탐색 맥락에서 특정화하기.

제안 방법

• 자연어 입력으로부터 설명, 설명, SPARQL 쿼리를 생성하기 위해 GPT-4 기반 ChatGPT(2023년 3월 무료 연구 버전)를 활용하였다.
• UniProt, OMA, Bgee라는 세 개의 공공 생물정보학 지식 그래프에 초점을 맞췄으며, 이들 모두가 SPARQL 엔드포인트를 지원하고 SIB의 피드레디티드 데이터 생태계의 일부이다.
• 공식 문서와 NCBI 및 EBI와 같은 권위 있는 출처에서 알려진 정답과 비교하여 챗봇 출력을 평가하였다.
• 실제 엔드포인트에서 테스트하여 생성된 피드레디티드 SPARQL 쿼리의 정확성과 성능을 평가하였다.
• 입력 어조와 맥락이 출력 일관성에 미치는 영향을 탐색하였으며, 반복 쿼리에서 비결정론적 응답이 발생하는지 확인하였다.
• 사실적 진술의 기원을 추적하기 위해 '왜' 또는 '어떻게' 질문을 던져 모델 설명의 신뢰성 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 AI 챗봇은 공공 생물정보학 지식 그래프의 내용을 자연어 접근 방식으로 효과적으로 요약하여 데이터 탐색성을 향상시킬 수 있는가?
• RQ2 챗봇은 피드레디티드 쿼리 맥락에서 기존 SPARQL 쿼리를 얼마나 정확하게 설명할 수 있는가?
• RQ3 챗봇은 여러 생물정보학 지식 그래프를 아우르는 자연어 질문으로부터 정확하고 효율적인 피드레디티드 SPARQL 쿼리를 생성할 수 있는가?
• RQ4 환상과 일관성 없는 추론은 과학적 데이터 탐색 맥락에서 챗봇이 생성한 답변의 신뢰성에 어떤 영향을 미치는가?
• RQ5 재현성과 쿼리 성능 측면에서 과학적 데이터 액세스에 LLM 기반 챗봇을 사용할 때의 실용적 한계는 무엇인가?

주요 결과

• ChatGPT는 UniProt, OMA, Bgee 데이터베이스의 고수준이고 이해하기 쉬운 요약을 성공적으로 생성하여 자연어 액세스를 통해 데이터 탐색성을 향상시켰다.
• 모델은 기존 SPARQL 쿼리에 대해 납득할 수 있는 설명을 제공하여 복잡한 피드레디티드 쿼리 구조를 이해하는 데 도움을 주었다.
• ChatGPT는 자연어 질문으로부터 문법적으로 올바른 피드레디티드 SPARQL 쿼리를 생성하여 수동으로 쿼리를 작성하지 않고도 직접 데이터 액세스 가능성을 보여주었다.
• 문법적으로는 정확했지만, 일부 생성된 쿼리는 의미적으로 잘못되었거나 비효율적이었으며, 나쁜 쿼리 계획으로 인해 서버 타임아웃이 발생할 수 있었다.
• 모델은 환상 현상을 보였으며, 예를 들어 *Colocasia esculenta*의 분류군 식별자(ID)가 4472라고 잘못 주장했지만, 설명에서는 정확한 출처(예: NCBI)를 인용하였다.
• 답변에 대한 설명은 종종 최종 출력과 일관성이 없었으며, 반복 쿼리에서는 때로 다른 결과를 내는 등 비결정성과 디버깅 투명성 부족을 드러내었다.