[논문 리뷰] Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning

Teo Sušnjak, Peter K. Hwang외 4명|arXiv (Cornell University)|2024. 04. 08.

Scientific Computing and Data Management인용 수 11

한 줄 요약

이 논문은 도메인 특화 SLR 논문에 대해 오픈 소스 LLM을 파인튜닝하여 체계적 문헌 고찰의 지식 종합 단계를 자동화하고, 환각 및 원전 감사 문제를 다루며, PRISMA에 부합하는 SLR를 재현하여 접근 방식을 검증합니다.

ABSTRACT

This research pioneers the use of fine-tuned Large Language Models (LLMs) to automate Systematic Literature Reviews (SLRs), presenting a significant and novel contribution in integrating AI to enhance academic research methodologies. Our study employed the latest fine-tuning methodologies together with open-sourced LLMs, and demonstrated a practical and efficient approach to automating the final execution stages of an SLR process that involves knowledge synthesis. The results maintained high fidelity in factual accuracy in LLM responses, and were validated through the replication of an existing PRISMA-conforming SLR. Our research proposed solutions for mitigating LLM hallucination and proposed mechanisms for tracking LLM responses to their sources of information, thus demonstrating how this approach can meet the rigorous demands of scholarly research. The findings ultimately confirmed the potential of fine-tuned LLMs in streamlining various labor-intensive processes of conducting literature reviews. Given the potential of this approach and its applicability across all research domains, this foundational study also advocated for updating PRISMA reporting guidelines to incorporate AI-driven processes, ensuring methodological transparency and reliability in future SLRs. This study broadens the appeal of AI-enhanced tools across various academic and research fields, setting a new standard for conducting comprehensive and accurate literature reviews with more efficiency in the face of ever-increasing volumes of academic studies.

연구 동기 및 목표

• SLR의 지식 종합 단계의 간소화를 위해 파인튜닝된 LLM의 사용을 촉진한다.
• 선정된 논문을 파인튜닝 데이터셋으로 변환하는 방법을 개발한다.
• LLM의 환각을 완화하고 출처에 대한 모델 응답을 감사할 수 있도록 한다.
• 골드 스탠다드로서 PRISMA에 부합하는 SLR을 재현하여 프레임워크를 평가한다.

제안 방법

• 지식 종합에 초점을 맞춘 4단계 SLR 자동화 프레임워크를 제안한다.
• 2a단계에서 선택된 논문으로부터 Q&A 데이터 추출 및 합성을 LLM을 사용하여 자동화한다.
• 2b단계에서 명시적 knowledgeTokens를 삽입하여 파인튜닝된 지식과 프리트레이닝 지식을 구분한다.
• 3단계에서 PEFT 기반 파인튜닝 및 선택적 Retrieval-Augmented Generation(RAG)을 적용한다.
• 4단계에서 자동화되고 출처를 감사할 수 있는 평가 데이터 세트를 사용하여 사실 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 RQ1: 파인튜닝 및/또는 RAG를 갖춘 LLM이 SLR의 합성(Synthesis) 단계를 촉진할 수 있는가?
• RQ2 RQ2: SLR 코퍼스에서 파인튜닝 데이터셋을 자동으로 추출하는 방법은 무엇인가?
• RQ3 RQ3: 비교적 작고 좁은 도메인 데이터셋에서 파인튜닝을 효과적으로 수행할 수 있는가?
• RQ4 RQ4: LLM 출력의 높은 충실도와 감사 가능한 출처를 달성할 수 있으며 어떤 지표가 적합한가?
• RQ5 RQ5: 제안된 접근법이 공개된 SLR을 재현하는 데 실행 가능한가?

주요 결과

• 프레임워크는 사실적 충실도와 감사 가능한 출처를 유지하면서 지식 종합을 자동화하는 것을 목표로 한다.
• PEFT는 매개변수의 일부를 업데이트하여 효율적인 파인튜닝을 가능하게 한다.
• RAG는 도메인 특화 문서를 통해 추론을 보완하여 사실적 근거를 향상시킬 수 있다.
• 학습 분석에서 PRISMA에 부합하는 SLR을 재현하는 사용 사례를 통해 이 접근법을 시연한다.
• LLM 파인튜닝을 위한 데이터 선별을 촉진하기 위해 Python 패키지가 공개된다.
• 본 연구는 AI 주도 프로세스를 수용하기 위해 PRISMA 지침의 업데이트를 제안한다.