[논문 리뷰] PRISMA-DFLLM: An Extension of PRISMA for Systematic Literature Reviews using Domain-specific Finetuned Large Language Models

Teo Sušnjak|arXiv (Cornell University)|2023. 06. 15.

Topic Modeling인용 수 9

한 줄 요약

PRISMA-DFLLM은 도메인 특화 미세조정 LLM으로 PRISMA를 확장하여 AI 지원, 확장 가능하고 살아있는 체계적 고찰 및 재사용 가능한 미세조정 모델을 가능하게 한다.

ABSTRACT

With the proliferation of open-sourced Large Language Models (LLMs) and efficient finetuning techniques, we are on the cusp of the emergence of numerous domain-specific LLMs that have been finetuned for expertise across specialized fields and applications for which the current general-purpose LLMs are unsuitable. In academia, this technology has the potential to revolutionize the way we conduct systematic literature reviews (SLRs), access knowledge and generate new insights. This paper proposes an AI-enabled methodological framework that combines the power of LLMs with the rigorous reporting guidelines of the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA). By finetuning LLMs on domain-specific academic papers that have been selected as a result of a rigorous SLR process, the proposed PRISMA-DFLLM (for Domain-specific Finetuned LLMs) reporting guidelines offer the potential to achieve greater efficiency, reusability and scalability, while also opening the potential for conducting incremental living systematic reviews with the aid of LLMs. Additionally, the proposed approach for leveraging LLMs for SLRs enables the dissemination of finetuned models, empowering researchers to accelerate advancements and democratize cutting-edge research. This paper presents the case for the feasibility of finetuned LLMs to support rigorous SLRs and the technical requirements for realizing this. This work then proposes the extended PRISMA-DFLLM checklist of reporting guidelines as well as the advantages, challenges, and potential implications of implementing PRISMA-DFLLM. Finally, a future research roadmap to develop this line of AI-enabled SLRs is presented, paving the way for a new era of evidence synthesis and knowledge discovery.

연구 동기 및 목표

• 빠르게 증가하는 문헌을 마주하는 상황에서 효율적이고 확장 가능한 체계적 고찰의 필요성을 동기화한다.
• 도메인 특화 미세조정 LLM과 PRISMA 지침을 결합한 AI 지원 프레임워크(PRISMA-DFLLM)를 제안한다.
• 미세조정 데이터셋, LLM 훈련 세부 정보, LLM 기반 SLR의 평가를 포함하는 보고 가이드라인을 제시한다.
• 도메인 특화 LLM이 증거 합성에 얼마나 도움이 되며 직면하는 도전과 연구 로드맵을 논의한다.

제안 방법

• 도메인 특화 미세조정 LLM과 PRISMA의 통합을 통해 SLR 및 살아있는 고찰을 지원한다.
• 미세조정 데이터셋, 전처리 및 문헌 텍스트와의 메타데이터 통합에 대한 보고 구성요소를 제시한다.
• 기본 LLM의 선택, 미세조정 전략 및 PRISMA-DFLLM 프레임워크 내의 평가 고려사항을 설명한다.
• 학술 연구를 위한 도메인 특화 LLM의 개발 및 평가를 위한 로드맵을 제공한다.

실험 결과

연구 질문

• RQ1 PRISMA 지침을 확장하여 SLR에 도메인 특화 미세조정 LLM을 수용할 수 있는가?
• RQ2 PRISMA-DFLLM에서 미세조정 데이터셋, LLM 훈련 및 평가를 문서화하기 위해 어떤 보고 구성요소가 필요한가?
• RQ3 살아있는 체계적 고찰에 도메인 특화 LLM을 배치하는 것의 잠재적 이점, 한계 및 시사점은 무엇인가?
• RQ4 증거 합성을 위한 도메인 특화 미세조정 LLM의 개발 및 평가를 위한 향후 연구 로드맵은 무엇이 필요한가?

주요 결과

• 도메인 특화 미세조정 LLM은 더 효율적이고 확장 가능한 SLR 워크플로우를 가능하게 한다.
• PEFT 전략인 LoRA 및 QLoRA는 도메인 작업의 성능을 유지하면서 미세조정 비용을 감소시킬 수 있다.
• 체계적 PRISMA-DFLLM 확장은 미세조정 데이터셋, 모델 선택 및 평가에 대한 보고를 안내한다.
• Living 체계적 고찰은 미세조정 LLM의 점진적 업데이트로 이점을 얻을 수 있다.
• 이 접근 방식은 미세조정된 모델에 대한 접근성을 민주화하고 AI 기반의 SLR를 통해 연구를 가속화할 수 있는 기회를 제공한다.