[논문 리뷰] AI Insights: A Case Study on Utilizing ChatGPT Intelligence for Research Paper Analysis

Anjalee de Silva, Janaka Wijekoon외 3명|arXiv (Cornell University)|2024. 03. 05.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 연구는 과학적 문헌 조사에서 연구 논문 분석을 자동화하기 위해 GPT-4와 GPT-3.5를 평가하며, 유방암 치료 분야의 인공지능을 중심으로 다룹니다. Google Scholar, PubMed, Scopus에서 확보한 1,200篇 이상의 논문 코퍼스를 바탕으로 GPT-4는 카테고리 분류에서 77.3%의 정확도와 범위 탐지에서 50%의 정확도를 기록했으며, 전문가 검증을 통한 추론는 67%의 경우에서 성립했습니다.

ABSTRACT

This paper discusses the effectiveness of leveraging Chatbot: Generative Pre-trained Transformer (ChatGPT) versions 3.5 and 4 for analyzing research papers for effective writing of scientific literature surveys. The study selected the extit{Application of Artificial Intelligence in Breast Cancer Treatment} as the research topic. Research papers related to this topic were collected from three major publication databases Google Scholar, Pubmed, and Scopus. ChatGPT models were used to identify the category, scope, and relevant information from the research papers for automatic identification of relevant papers related to Breast Cancer Treatment (BCT), organization of papers according to scope, and identification of key information for survey paper writing. Evaluations performed using ground truth data annotated using subject experts reveal, that GPT-4 achieves 77.3\% accuracy in identifying the research paper categories and 50\% of the papers were correctly identified by GPT-4 for their scopes. Further, the results demonstrate that GPT-4 can generate reasons for its decisions with an average of 27\% new words, and 67\% of the reasons given by the model were completely agreeable to the subject experts.

연구 동기 및 목표

• GPT-3.5와 GPT-4가 과학적 문헌 조사의 연구 논문 분석을 자동화하는 데 얼마나 효과적인지 평가하기 위해.
• LLM를 활용하여 인공지능을 활용한 유방암 치료(BCT) 관련 연구 논문을 식별하고 분류하기 위해.
• 전문가가 애너테이션한 기준과 비교해 모델이 BCT 연구 논문의 범위를 얼마나 정확히 탐지할 수 있는지 평가하기 위해.
• LLM가 생성한 요약을 활용해 서베이 논문 작성에 필요한 핵심 정보를 추출하기 위해.
• 데이터 노이즈, 응답 일관성 부족, API 제약 등 학술 작업에 대한 LLM 적용의 한계를 규명하기 위해.

제안 방법

• 논문 수집 및 분류를 안내하기 위해 BCT 하위 분야의 분류 체계를 구축함.
• Google Scholar, PubMed, Scopus에서 1,200편 이상의 연구 논문을 수집하고, 중복 제거를 통해 통합 코퍼스를 구성함.
• 제목, 초록, 내용을 분석하는 프롬프트를 사용해 GPT-3.5와 GPT-4를 활용해 논문을 BCT 관련 카테고리로 분류함.
• 분류, 범위 탐지, 정보 추출 작업 최적화를 위해 반복적인 프롬프트 엔지니어링을 적용함.
• 전문가가 애너테이션한 기준과 비교해 카테고리, 범위, 추론 품질을 평가함.
• GPT-4를 사용해 표본 논문의 배경, 방법, 핵심 결과를 추출하기 위한 정보 추출을 수행함.

실험 결과

연구 질문

• RQ1 GPT-4는 인공지능을 활용한 유방암 치료 분야의 연구 논문을 정확하게 관련 카테고리로 분류할 수 있는가?
• RQ2 전문가가 애너테이션한 기준과 비교해 GPT-4는 BCT 연구 논문의 범위를 얼마나 정확히 탐지할 수 있는가?
• RQ3 GPT-4가 생성한 추론 문장은 전문가의 판단과 어느 정도 일치하는가?
• RQ4 실제 연구 워크플로우에서 학술 문헌 분석에 LLM을 적용할 때의 주요 한계는 무엇인가?
• RQ5 GPT-4는 연구 논문에서 목적, 방법, 결과와 같은 구조화된 정보를 얼마나 효과적으로 추출할 수 있는가?

주요 결과

• GPT-4는 BCT 관련 연구 논문의 올바른 카테고리 식별에서 77.3%의 정확도를 기록함.
• 전문가가 애너테이션한 기준과 비교해 GPT-4는 50%의 연구 논문에서 범위를 정확히 식별함.
• 범위 탐지 결과 중 22%는 중간 수준의 일치를 보였으며, 이 중 16%는 전문가가 식별한 범위보다 넓었고, 4%는 더 좁은 범위였음.
• GPT-4는 입력 데이터 대비 평균 27%의 새로운 단어를 사용해 결정에 대한 추론을 생성함으로써 의미 있는 확장이 이루어졌음을 시사함.
• GPT-4가 생성한 추론 문장 중 67%는 전문가의 판단과 완전히 일치함으로써 전문가의 판단과 강한 일치를 보였음.
• 주요 한계로는 Google Scholar와 PubMed API에서 유래한 노이즈가 많은 데이터, 반복 작업에서의 LLM 응답 일관성 부족, GPT-4 API의 엄격한 메시지 길이 제약 등 자동화 효율성에 영향을 주는 요소들이 존재함.