[논문 리뷰] SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question Answering over a Life Science Knowledge Graph

Julio C. Rangel, Tarcisio Mendes de Farias외 2명|arXiv (Cornell University)|2024. 02. 07.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 생명과학 지식 그래프에서 정확한 SPARQL 쿼리 생성을 위해 OpenLLaMA를 미세조정하기 위한 데이터 증강 프레임워크를 제안한다. 의미 있는 변수 이름과 인라인 주석과 같은 의미적 단서를 활용한다. 이 방법은 무작위 변수 이름과 주석 없이 대비해 모델 성능을 최대 33% 향상시키며, 특히 도메인 특화 증강 데이터에 직접 미세조정할 경우 가장 우수한 성능을 기록한다.

ABSTRACT

The recent success of Large Language Models (LLM) in a wide range of Natural Language Processing applications opens the path towards novel Question Answering Systems over Knowledge Graphs leveraging LLMs. However, one of the main obstacles preventing their implementation is the scarcity of training data for the task of translating questions into corresponding SPARQL queries, particularly in the case of domain-specific KGs. To overcome this challenge, in this study, we evaluate several strategies for fine-tuning the OpenLlama LLM for question answering over life science knowledge graphs. In particular, we propose an end-to-end data augmentation approach for extending a set of existing queries over a given knowledge graph towards a larger dataset of semantically enriched question-to-SPARQL query pairs, enabling fine-tuning even for datasets where these pairs are scarce. In this context, we also investigate the role of semantic "clues" in the queries, such as meaningful variable names and inline comments. Finally, we evaluate our approach over the real-world Bgee gene expression knowledge graph and we show that semantic clues can improve model performance by up to 33% compared to a baseline with random variable names and no comments included.

연구 동기 및 목표

• 생명과학 지식 그래프에서 질문-SPARQL 쿼리 쌍의 부족으로 인해 질문에 대한 대답을 위한 LLM의 효과적 미세조정이 어렵다는 문제를 해결하기 위해.
• 소규모 초기 데이터셋에서 의미적으로 풍부한 질문-SPARQL 쌍을 생성하는 엔드 투 엔드 데이터 증강 전략을 개발하기 위해.
• 의미적 단서(예: 의미 있는 변수 이름, 인라인 주석)가 SPARQL 쿼리 생성 성능에 미치는 영향을 평가하기 위해.
• 일반 도메인 데이터셋(예: KQA_Pro)에서의 지식 전이가 Bgee와 같은 도메인 특화 생명과학 지식 기반에서의 성능 향상에 기여하는지 조사하기 위해.
• Bgee 유전자 발현 지식 그래프 기반 과학적 질문 대답을 위한 고품질, 개방형 데이터셋(2,500개 이상의 질문-SPARQL 쌍)을 구축하기 위해.

제안 방법

• 엔드 투 엔드 데이터 증강 파이프라인은 기존 쿼리를 재구성하고 SPARQL 구문을 수정하면서도 의미를 유지하는 방식으로 새로운 질문-SPARQL 쌍을 생성한다.
• 이 방법은 랜덤 변수 이름을 의미 있는 이름(예: 'gene' → 'var1' 대신)으로 대체하고, 속성 레이블을 설명하는 인라인 주석을 추가함으로써 의미적 단서를 도입한다.
• 15개의 원본 Bgee 쿼리에서 출발해 5종의 별도 증강 데이터셋을 생성하였으며, 각각 513개의 쿼리로 구성되어 총 2,500개 이상의 쌍을 확보하였다.
• OpenLLaMA_7b_v2 모델은 이러한 증강 데이터셋에 대해 미세조정되며, 의미적 단서 유무를 비교하는 탈락 연구(ablation studies)가 수행된다.
• 지식 전이는 먼저 KQA_Pro 데이터셋(Wikidata 기반)에서 OpenLLaMA를 미세조정한 후 Bgee 데이터셋에서 추가로 미세조정하는 방식으로 평가된다.
• 성능 평가는 표준 NLP 메트릭인 BLEU, SP-BLEU, METEOR, ROUGE-L을 다양한 설정에서 평가한다.

Figure 1: System Architecture. We augment an existing catalog of representative questions over a given knowledge graph and fine-tune OpenLlama in two steps: We first fine-tune the base model using the KQA Pro dataset over Wikidata. Next, we further fine-tune the resulting model using the extended se

실험 결과

연구 질문

• RQ1 데이터 증강이 생명과학 지식 그래프에서 의미적으로 올바른 SPARQL 쿼리를 생성하는 LLM의 성능을 크게 향상시킬 수 있는가?
• RQ2 의미 있는 변수 이름과 인라인 주석과 같은 의미적 단서가 SPARQL 쿼리 생성 정확도에 어느 정도 기여하는가?
• RQ3 일반 도메인 데이터셋(예: KQA_Pro)에서의 지식 전이가 Bgee와 같은 도메인 특화 생명과학 지식 기반에서의 성능 향상에 기여하는가?
• RQ4 증강된 훈련 데이터셋의 크기가 모델이 정확한 SPARQL 쿼리를 생성하는 능력에 어떤 영향을 미치는가?
• RQ5 일반 도메인 사전 훈련을 거친 다단계 미세조정보다 도메인 특화 데이터에 직접 미세조정하는 것이 더 효과적인가?

주요 결과

• 의미 있는 변수 이름과 인라인 주석을 포함한 의미적 단서는 무작위 변수 이름과 주석 없이 대비해 ROUGE-L 점수를 최대 33% 향상시킨다.
• KQA_Pro에서의 사전 훈련을 거친 다단계 미세조정보다 Bgee 증강 데이터셋에 직접 미세조정한 경우가 성능이 뛰어나며, 후자는 향상 없거나 성능 저하를 보였다.
• 가장 뛰어난 성능을 기록한 모델은 'Bgee 의미 있는 변수 이름 주석' 데이터셋에 대해 미세조정되었으며, 베이스라인(무작위 변수 이름, 주석 없음) 대비 BLEU, SP-BLEU, METEOR 점수에서 80% 이상 향상되었다.
• 훈련 데이터 크기가 증가할수록 성능이 지속적으로 향상되었으며, 증강된 '의미 있는 변수 이름 주석' 데이터셋의 25%에서 100%까지의 증가에 따라 점진적인 성과 향상이 관찰되었다.
• 최종 데이터셋은 2,500개 이상의 의미적으로 풍부한 질문-SPARQL 쌍을 포함하며, 과학적 지식 기반 질문 대답 연구에 유용한 자원이 되었다.
• 이 연구는 SPARQL 쿼리의 의미적 풍부화가 도메인 특화 지식 그래프 질의에서 LLM의 일반화 능력을 향상시키는 매우 효과적이고 저비용 전략임을 입증한다.

Figure 2: Enhancement in the SPARQL query generation performance (y-axis) with partitions in increments of 25% of the “Bgee meaningful vars comments" training set (x-axis).