[論文レビュー] Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation

Steffen Eger, Cao Yong+12 more|ArXiv.org|Feb 7, 2025

Scientific Computing and Data Management被引用数 3

ひとこと要約

このサーベイは、大規模言語モデルが文献探索、実験、コンテンツ生成（テキストおよびマルチモーダル）、AI支援査読をどのように支援するかを検討し、データセット、方法、評価、および倫理的懸念を強調します。

ABSTRACT

With the advent of large multimodal language models, science is now at a threshold of an AI-based technological transformation. An emerging ecosystem of models and tools aims to support researchers throughout the scientific lifecycle, including (1) searching for relevant literature, (2) generating research ideas and conducting experiments, (3) producing text-based content, (4) creating multimodal artifacts such as figures and diagrams, and (5) evaluating scientific work, as in peer review. In this survey, we provide a curated overview of literature representative of the core techniques, evaluation practices, and emerging trends in AI-assisted scientific discovery. Across the five tasks outlined above, we discuss datasets, methods, results, evaluation strategies, limitations, and ethical concerns, including risks to research integrity through the misuse of generative models. We aim for this survey to serve both as an accessible, structured orientation for newcomers to the field, as well as a catalyst for new AI-based initiatives and their integration into future ``AI4Science'' systems.

研究の動機と目的

• AI4Scienceツールを研究サイクル全体にマッピングする必要性を動機づける。AI駆動の変革に入る科学の文脈で。
• AI支援の文献検索・実験・コンテンツ生成・マルチモーダル資料・査読のデータセット、方法、結果、制約を要約する。
• 各AI支援科学タスクにおける倫理的懸念、ガバナンス、責任ある利用を強調する。
• 研究者と政策立案者が科学的ワークフローにAIツールを導入するための横断的な視点を提供する。

提案手法

• 科学ライフサイクル全体にわたる最先端のAI応用を統合するための語り口調のサーベイ手法を採用する。
• 各タスクのデータソース・方法・結果の構造化された概観を提供するが、固定の包含基準は設けない。
• 科学におけるAIツールの適用範囲・限界・将来の方向性を論じる。
• 各タスクごとに専用の倫理懸念セクションと別個の倫理セクションを設ける。
• 複数のAIサブ分野にまたがる関連データセット、ベンチマーク、ツールセットを参照・集約する。

Figure 2. Overview of the hypothesis generation, idea generation and automatic experimentation process.

実験結果

リサーチクエスチョン

• RQ1 科学における文献探索と要約の支援に現在使われているAI手法とツールは何か？
• RQ2 研究ワークフローにおける実験設計・データ生成・自律実験にAIモデルはどのように適用されているか？
• RQ3 科学的実践における単一モーダルおよびマルチモーダルのAIコンテンツ生成（テキスト、図、スライド）の能力と制限は何か？
• RQ4 AI支援査読はどのように進化しており、倫理・ガバナンス上の影響は何か？
• RQ5 AI支援の科学的タスクを評価するためのデータセット・ベンチマーク・評価指標は何で、ギャップはどこにあるか？

主な発見

• AIツールは文献探索・要約・比較にますます統合され、文脈対応の検索と構造化された洞察を可能にしている。
• AI支援の実験・アイデア創出は進化しており、研究サイクルの一部を自動化するシステムを目指している。
• マルチモーダルのコンテンツ生成・理解（図・表・スライド）は活発な領域で、科学的ビジュアルの自動生成と解釈を可能にしている。
• AI支援の査読と自動フィードバックが模索されており、科学的厳密さと主張検証への配慮がある。
• 誤情報・偏り・評価品質・ガバナンスといった倫理的懸念が中核となっており、サーベイ全体で取り上げられている。

Figure 3. Overview of the scientific figure generation process.