[논문 리뷰] AcademicGPT: Empowering Academic Research

Shufa Wei, Xiaolong Xu외 22명|arXiv (Cornell University)|2023. 11. 21.

Topic Modeling인용 수 4

한 줄 요약

AcademicGPT는 연구 논문, 학위 논문, 고급 중국어 학술 자료를 포함한 1200억 토큰 분량의 학술 코퍼스에서 LLaMA2-70B를 파생시켜 특화된 대규모 언어 모델이다. 일반적(MLLU, CEval), 중국어(CEval), 전문 학술 벤치마크(PubMedQA, SCIEval, ComputerScienceQA)에서 뛰어난 성능을 보이며, AI 기반 논문 읽기, 검토, 제목/초록 생성, 다중 라운드 학술 질의 응답과 같은 고급 응용을 가능하게 한다.

ABSTRACT

Large Language Models (LLMs) have demonstrated exceptional capabilities across various natural language processing tasks. Yet, many of these advanced LLMs are tailored for broad, general-purpose applications. In this technical report, we introduce AcademicGPT, designed specifically to empower academic research. AcademicGPT is a continual training model derived from LLaMA2-70B. Our training corpus mainly consists of academic papers, thesis, content from some academic domain, high-quality Chinese data and others. While it may not be extensive in data scale, AcademicGPT marks our initial venture into a domain-specific GPT tailored for research area. We evaluate AcademicGPT on several established public benchmarks such as MMLU and CEval, as well as on some specialized academic benchmarks like PubMedQA, SCIEval, and our newly-created ComputerScienceQA, to demonstrate its ability from general knowledge ability, to Chinese ability, and to academic ability. Building upon AcademicGPT's foundation model, we also developed several applications catered to the academic area, including General Academic Question Answering, AI-assisted Paper Reading, Paper Review, and AI-assisted Title and Abstract Generation.

연구 동기 및 목표

• 학술 연구에서의 정보 과잉 문제를 해결하기 위해 과학 문헌에 특화된 전용 대규모 언어 모델을 개발한다.
• 일반 목적의 대규모 언어 모델이 기술적이고 영역 특화된 맥락에서 복잡한 학술적 뉘앙스를 이해하는 데 한계를 보이는 문제를 극복한다.
• 읽기, 검토, 콘텐츠 생성을 위한 AI 기반 도구를 통해 효율적이고 정확하며 맥락 인식이 가능한 학술 워크플로우를 실현한다.
• 정제된 학술 코퍼스를 활용한 지속적 사전 훈련이 도메인 특화 추론 및 지식 유지 능력을 향상시키는 데 기여하는지를 입증한다.
• 실제 학술 연구 요구사항과 고급 대규모 언어 모델 능력 간 격차를 실용적이고 응용 중심의 구현을 통해 메운다.

제안 방법

• 연구 논문, 학위 논문, 영역 특화 콘텐츠, 고급 중국어 학술 데이터를 포함한 1200억 토큰 분량의 코퍼스에서 LLaMA2-70B를 지속적으로 사전 훈련한다.
• 메모리와 추론 능력을 갖춘 다중 라운드, 맥락 인식이 가능한 일반 학술 질문-답변 에이전트를 ReAct 프레임워크를 활용해 구축한다.
• 제목 및 초록 예측을 위한 생성 모델을 훈련하기 위해 100만 개의 레이블이 부여된 연구 논문을 사용한 지도적 미세조정 파이프라인을 설계한다.
• 조건부 생성을 이끌기 위해 입력 데이터를 "서론 실험 결과 <begin_generate>제목:내용;초록:내용" 형식으로 구성한다.
• 네 가지 핵심 응용 프로그램을 개발한다: 일반 학술 Q&A, AI 기반 논문 읽기, AI 기반 논문 검토, AI 기반 제목/초록 생성.
• <begin_generate>와 같은 특수 토큰을 사용하여 생성 프로세스를 체계적이고 신뢰성 있게 트리거하고 제어한다.

실험 결과

연구 질문

• RQ1 정제된 학술 코퍼스에서의 지속적 사전 훈련 전략이 대규모 언어 모델의 학술 추론 및 지식 벤치마크 성능을 크게 향상시킬 수 있는가?
• RQ2 AcademicGPT와 같은 도메인 특화 대규모 언어 모델이 일반 목적의 대규모 언어 모델보다 과학적 콘텐츠 이해 및 생성에서 얼마나 뛰어난가?
• RQ3 AcademicGPT 기반 AI 지원 도구가 논문 읽기, 검토, 콘텐츠 생성과 같은 실제 학술 워크플로우를 얼마나 효과적으로 지원하는가?
• RQ4 ReAct 프레임워크는 다중 라운드 학술 대화에서 맥락과 추론 품질을 유지하는 데 효과적으로 적용될 수 있는가?
• RQ5 데이터 구성 및 미세조정이 생성된 학술 제목과 초록의 일관성과 관련성에 어떤 영향을 미치는가?

주요 결과

• AcademicGPT는 MMLU와 CEval에서 뛰어난 성능을 보이며, 강력한 일반 지식 및 추론 능력을 입증한다.
• PubMedQA 및 SCIEval와 같은 전문 벤치마크에서 AcademicGPT는 생물의학 및 과학적 추론 과제에서 뚜렷한 능력을 보인다.
• 최근 제작된 ComputerScienceQA 벤치마크는 AcademicGPT의 컴퓨터 과학 분야 특화 지식 및 문제 해결 능력이 뛰어나다는 것을 확인한다.
• AI 기반 논문 읽기 시스템은 복잡한 학술 콘텐츠를 효과적으로 요약하여 핵심 발견을 부각하고 이해도를 향상시킨다.
• AI 기반 논문 검토 시스템은 비판적이고 맥락 인식이 가능한 피드백을 제공하여 학술 글쓰기의 품질과 명확성을 향상시킨다.
• 제목 및 초록 생성 시스템은 일관성 있고 관련성 있으며 정확한 출력을 생성하며, 실제 연구 논문 사례 연구를 통해 평가 시 정확도 손실가 최소화됨을 확인했다.