[論文レビュー] AI Insights: A Case Study on Utilizing ChatGPT Intelligence for Research Paper Analysis

Anjalee de Silva, Janaka Wijekoon+3 more|arXiv (Cornell University)|Mar 5, 2024

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本研究では、がん治療におけるAIの応用を焦点に、GPT-4とGPT-3.5を用いた研究論文分析の自動化を評価している。Google Scholar、PubMed、Scopusから収集した1,200篇以上の論文を対象に、GPT-4は分類タスクで77.3%の正確さを達成し、範囲特定タスクでは50%の正確さを示した。また、専門家による検証を受けた推論文のうち67%が妥当であった。

ABSTRACT

This paper discusses the effectiveness of leveraging Chatbot: Generative Pre-trained Transformer (ChatGPT) versions 3.5 and 4 for analyzing research papers for effective writing of scientific literature surveys. The study selected the extit{Application of Artificial Intelligence in Breast Cancer Treatment} as the research topic. Research papers related to this topic were collected from three major publication databases Google Scholar, Pubmed, and Scopus. ChatGPT models were used to identify the category, scope, and relevant information from the research papers for automatic identification of relevant papers related to Breast Cancer Treatment (BCT), organization of papers according to scope, and identification of key information for survey paper writing. Evaluations performed using ground truth data annotated using subject experts reveal, that GPT-4 achieves 77.3\% accuracy in identifying the research paper categories and 50\% of the papers were correctly identified by GPT-4 for their scopes. Further, the results demonstrate that GPT-4 can generate reasons for its decisions with an average of 27\% new words, and 67\% of the reasons given by the model were completely agreeable to the subject experts.

研究の動機と目的

• GPT-3.5およびGPT-4が科学的文献サーベイの文書分析を自動化する効果を評価すること。
• 大規模言語モデル（LLM）を用いて、がん治療におけるAI関連の研究論文を特定・分類すること。
• 専門家がアノテートした基準と比較して、モデルのがん治療分野の研究論文の範囲特定能力を評価すること。
• LLMが生成する要約を用いて、サーベイ論文作成に必要な主要情報を抽出すること。
• データノイズ、応答の一貫性の欠如、API制限といった、学術的作業におけるLLMの応用における主な制限要因を同定すること。

提案手法

• 研究論文の分類を支援するため、BCT（がん治療におけるAI）のサブドメインを体系化した分類体系を構築した。
• Google Scholar、PubMed、Scopusから1,200篇以上の研究論文を収集し、重複除去を施して統合されたコロナスを構築した。
• GPT-3.5およびGPT-4を用いて、タイトル、要旨、本文を分析するプロンプトを用いて論文をBCT関連のカテゴリに分類した。
• 反復的なプロンプト設計を実施し、分類、範囲特定、情報抽出タスクの最適化を図った。
• 分類、範囲、推論の質の各項目について、分野の専門家がアノテートした基準と照合してモデル出力を評価した。
• GPT-4を用いてサンプル論文の背景、手法、主要な発見を抽出する情報抽出を実施した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、がん治療におけるAI関連研究論文を、関連するカテゴリに正確に分類できるか？
• RQ2 専門家がアノテートした基準と比較して、GPT-4はがん治療分野の研究論文の範囲をどの程度正確に特定できるか？
• RQ3 GPT-4が生成する推論文の内容は、専門家の判断とどの程度一致するか？
• RQ4 実際の研究ワークフローにおいて、学術的文献分析にLLMを応用するにあたり、主な制限要因は何か？
• RQ5 GPT-4は、目的、手法、主な発見といった構造化された情報を、研究論文からどの程度効果的に抽出できるか？

主な発見

• GPT-4は、BCT関連研究論文の正しいカテゴリを識別する際、77.3%の正確さを示した。
• 専門家がアノテートした基準と比較して、GPT-4は50%の論文で正確に範囲を特定した。
• 範囲特定の結果において、22%が中間的マッチングであり、そのうち16%が専門家が特定した範囲よりも広がり、4%が狭くなっていた。
• GPT-4が意思決定の根拠を生成する際、入力文に比べて平均で27%の新しい語を用いており、意味のある拡張がなされていることが示された。
• GPT-4が生成した推論文のうち67%が分野の専門家によって完全に妥当と評価され、専門家の判断と強い整合性を示した。
• 主な制限要因として、Google ScholarおよびPubMedのAPIからのノイズの多いデータ、反復処理におけるLLM出力の一貫性の欠如、GPT-4 APIにおけるメッセージ長制限が挙げられ、これらが自動化の効率を損なっていた。