[论文解读] AI Insights: A Case Study on Utilizing ChatGPT Intelligence for Research Paper Analysis

Anjalee de Silva, Janaka Wijekoon+3 more|arXiv (Cornell University)|Mar 5, 2024

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本研究评估了GPT-4和GPT-3.5在科学文献综述中自动化研究论文分析的效能，聚焦于人工智能在乳腺癌治疗中的应用。基于来自Google Scholar、PubMed和Scopus的1,200多篇论文语料库，GPT-4在类别分类中达到77.3%的准确率，在范围检测中达到50%的准确率，且在67%的案例中其推理过程经专家验证。

ABSTRACT

This paper discusses the effectiveness of leveraging Chatbot: Generative Pre-trained Transformer (ChatGPT) versions 3.5 and 4 for analyzing research papers for effective writing of scientific literature surveys. The study selected the extit{Application of Artificial Intelligence in Breast Cancer Treatment} as the research topic. Research papers related to this topic were collected from three major publication databases Google Scholar, Pubmed, and Scopus. ChatGPT models were used to identify the category, scope, and relevant information from the research papers for automatic identification of relevant papers related to Breast Cancer Treatment (BCT), organization of papers according to scope, and identification of key information for survey paper writing. Evaluations performed using ground truth data annotated using subject experts reveal, that GPT-4 achieves 77.3\% accuracy in identifying the research paper categories and 50\% of the papers were correctly identified by GPT-4 for their scopes. Further, the results demonstrate that GPT-4 can generate reasons for its decisions with an average of 27\% new words, and 67\% of the reasons given by the model were completely agreeable to the subject experts.

研究动机与目标

• 评估GPT-3.5和GPT-4在自动化科学文献综述中研究论文分析方面的有效性。
• 利用大语言模型（LLMs）识别并分类与人工智能在乳腺癌治疗（BCT）中应用相关的研究论文。
• 评估模型在检测BCT研究论文范围方面的能力，与专家标注的基准数据进行对比。
• 使用大语言模型生成的摘要，从研究论文中提取关键信息以用于综述论文撰写。
• 识别在学术工作中应用大语言模型的局限性，包括数据噪声、响应不一致性以及API限制。

提出的方法

• 构建了BCT子领域分类体系，以指导论文的收集与分类。
• 从Google Scholar、PubMed和Scopus收集了1,200多篇研究论文，并去重后形成统一语料库。
• 使用GPT-3.5和GPT-4通过分析标题、摘要和内容，将论文分类为与BCT相关的类别。
• 采用迭代式提示工程优化分类、范围检测和信息提取任务。
• 将模型输出与由领域专家标注的基准数据进行对比，评估类别、范围和推理质量。
• 对一篇样本论文使用GPT-4执行信息提取，以获取背景、方法和关键发现。

实验结果

研究问题

• RQ1 GPT-4能否准确地将研究论文分类为与乳腺癌治疗中人工智能相关的类别？
• RQ2 与专家标注的基准数据相比，GPT-4在检测BCT研究论文范围方面的准确率如何？
• RQ3 GPT-4生成的推理陈述在多大程度上与专家判断一致？
• RQ4 在实际研究工作流程中，使用GPT模型进行学术文献分析的主要局限性是什么？
• RQ5 GPT-4在从研究论文中提取结构化信息（如研究目标、方法、发现）方面的有效性如何？

主要发现

• GPT-4在识别与BCT相关研究论文正确类别的准确率达到77.3%。
• 与专家标注的基准数据相比，GPT-4正确识别了50%的研究论文的范围。
• 在范围检测结果中，22%为中间匹配，其中16%的案例范围比专家识别的更广，4%更窄。
• GPT-4在生成决策推理时，平均使用了27%的新词，表明其推理具有有意义的扩展。
• GPT-4生成的推理陈述中，67%被领域专家完全认可，表明其与专家判断高度一致。
• 主要局限性包括来自Google Scholar和PubMed API的噪声数据、大语言模型在不同迭代中响应不一致，以及GPT-4 API中严格的消息长度限制，这些均影响了自动化效率。