[論文レビュー] AcademicGPT: Empowering Academic Research

Shufa Wei, Xiaolong Xu+22 more|arXiv (Cornell University)|Nov 21, 2023

Topic Modeling被引用数 4

ひとこと要約

AcademicGPT は、1200億トークンの学術的コーパス（研究論文、修士論文、高品質な中国語学術コンテンツを含む）から微調整された LLaMA2-70B を基盤とするドメイン特化型大規模言語モデルであり、一般（MMLU、CEval）、中国語（CEval）、および専門的学術ベンチマーク（PubMedQA、SCIEval、ComputerScienceQA）で優れた性能を発揮し、AI支援論文読解、レビュー、タイトル／要旨生成、マルチターン学術的質疑応答などの高度な応用を可能にする。

ABSTRACT

Large Language Models (LLMs) have demonstrated exceptional capabilities across various natural language processing tasks. Yet, many of these advanced LLMs are tailored for broad, general-purpose applications. In this technical report, we introduce AcademicGPT, designed specifically to empower academic research. AcademicGPT is a continual training model derived from LLaMA2-70B. Our training corpus mainly consists of academic papers, thesis, content from some academic domain, high-quality Chinese data and others. While it may not be extensive in data scale, AcademicGPT marks our initial venture into a domain-specific GPT tailored for research area. We evaluate AcademicGPT on several established public benchmarks such as MMLU and CEval, as well as on some specialized academic benchmarks like PubMedQA, SCIEval, and our newly-created ComputerScienceQA, to demonstrate its ability from general knowledge ability, to Chinese ability, and to academic ability. Building upon AcademicGPT's foundation model, we also developed several applications catered to the academic area, including General Academic Question Answering, AI-assisted Paper Reading, Paper Review, and AI-assisted Title and Abstract Generation.

研究の動機と目的

• 学術的文献における情報過多の課題に対処し、科学的文献に特化した専用のLLMを開発すること。
• 一般用途LLMが技術的・ドメイン特化的文脈において複雑な学術的ニュアンスを理解するのには限界があることに対処すること。
• 読解、レビュー、コンテンツ生成のためのAI駆動ツールを通じて、効率的で正確かつ文脈に配慮した学術的ワークフローを実現すること。
• 整理された学術的コーパスを用いた継続的事前学習が、ドメイン特化型推論力と知識保持力の向上に寄与することを実証すること。
• 実用的で応用指向の展開を通じて、高度なLLMの能力と現実世界の学術的研究ニーズのギャップを埋めること。

提案手法

• 学術論文、修士論文、ドメイン特化コンテンツ、高品質な中国語学術データを含む1200億トークンのコーパスを用いて、LLaMA2-70Bの継続的事前学習を実施。
• メモリと推論能力を備えたマルチターンで文脈に配慮した一般学術的質問応答エージェントをReActフレームワークを活用して構築。
• 100万件のラベル付き研究論文を用いた教師あり微調整パイプラインを設計し、タイトルおよび要旨予測のための生成モデルを訓練。
• 生成を誘導するため、入力データを「イントロダクション 結果 <begin_generate>タイトル:コンテンツ；要旨:コンテンツ」という形式に定式化。
• 4つのコアアプリケーションの開発：一般学術的Q&A、AI支援論文読解、AIベース論文レビュー、AI支援タイトル／要旨生成。
• <begin_generate>などの特別トークンを用いて、構造的かつ信頼性の高い方法で生成プロセスをトリガー・制御。

実験結果

リサーチクエスチョン

• RQ1 整理された学術的コーパス上で継続的事前学習を実施することで、LLMの学術的推論力および知識ベンチマークにおける性能が顕著に向上するか？
• RQ2 AcademicGPT のようなドメイン特化型LLMは、一般用途LLMに比べて科学的コンテンツの理解および生成においてどの程度優れているか？
• RQ3 AcademicGPT を基盤に構築されたAI支援ツールは、論文読解、レビュー、コンテンツ生成といった実際の学術的ワークフローをどの程度効果的に支援できるか？
• RQ4 ReActフレームワークは、マルチターン学術的対話における文脈維持と推論品質を効果的に維持できるか？
• RQ5 データの形式化と微調整の影響は、生成された学術的タイトルおよび要旨の整合性と関連性にどのような影響を及ぼすか？

主な発見

• AcademicGPT は MMLU および CEval で優れた性能を発揮し、包括的で強固な一般知識および推論能力を示している。
• PubMedQA や SCIEval といった専門的ベンチマークでは、医学的および科学的推論タスクにおいて顕著な能力を示している。
• 新たに作成された ComputerScienceQA ベンチマークは、AcademicGPT がコンピュータサイエンス分野特化の知識および問題解決において優れた性能を発揮していることを確認している。
• AI支援論文読解システムは、複雑な学術的コンテンツを効果的に要約し、重要な発見を強調することで理解を向上させている。
• AIベース論文レビューシステムは、批判的で文脈に配慮したフィードバックを提供し、学術的ライティングの質と明確さを向上させている。
• タイトルおよび要旨生成システムは、整合性があり関連性が高く正確な出力を生成しており、実際の研究論文を用いた事例研究でも精度の損失が最小限に抑えられていることが示されている。