[논문 리뷰] Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation

Steffen Eger, Cao Yong외 12명|ArXiv.org|2025. 02. 07.

Scientific Computing and Data Management인용 수 3

한 줄 요약

이 설문조사는 대형 언어 모델이 문헌 검색, 실험, 콘텐츠 생성(텍스트 및 다중 모달), 그리고 AI 보조 피어 리뷰를 돕는 방식의 활용을 검토하고, 데이터 세트, 방법, 평가, 윤리적 문제를 강조합니다.

ABSTRACT

With the advent of large multimodal language models, science is now at a threshold of an AI-based technological transformation. An emerging ecosystem of models and tools aims to support researchers throughout the scientific lifecycle, including (1) searching for relevant literature, (2) generating research ideas and conducting experiments, (3) producing text-based content, (4) creating multimodal artifacts such as figures and diagrams, and (5) evaluating scientific work, as in peer review. In this survey, we provide a curated overview of literature representative of the core techniques, evaluation practices, and emerging trends in AI-assisted scientific discovery. Across the five tasks outlined above, we discuss datasets, methods, results, evaluation strategies, limitations, and ethical concerns, including risks to research integrity through the misuse of generative models. We aim for this survey to serve both as an accessible, structured orientation for newcomers to the field, as well as a catalyst for new AI-based initiatives and their integration into future ``AI4Science'' systems.

연구 동기 및 목표

• 과학이 AI 주도 변혁에 진입함에 따라 전체 연구 주기에 걸친 AI4Science 도구의 매핑 필요성을 제고한다.
• AI 보조 문헌 검색, 실험, 콘텐츠 생성, 다중 모달 콘텐츠, 및 피어 리뷰에 대한 데이터 세트, 방법, 결과, 및 한계를 요약한다.
• 각 AI 보조 과학 작업에서의 윤리적 우려, 거버넌스 및 책임 있는 사용을 강조한다.
• 과학적 워크플로에 AI 도구를 채택하는 데 있어 연구자와 정책 입안자들을 안내하는 횡단적 관점을 제시한다.

제안 방법

• 과학 수명주기 전반에 걸친 최첨단 AI 응용을 합성하기 위해 서술적 조사 접근법을 채택한다.
• 고정된 포함 기준 없이 각 작업에 대한 데이터 소스, 방법 및 결과의 구조화된 개요를 제공한다.
• 과학 분야에서의 AI 도구의 적용 가능성, 한계 및 향후 방향을 논의한다.
• 작업별로 전용 윤리적 우려 하위섹션과 별도의 윤리 섹션을 포함한다.
• 여러 AI 하위 분야에 걸친 관련 데이터 세트, 벤치마크 및 도구 세트를 참조하고 수집한다.

Figure 2. Overview of the hypothesis generation, idea generation and automatic experimentation process.

실험 결과

연구 질문

• RQ1 과학에서 문헌 검색 및 요약을 돕기 위해 현재 어떤 AI 방법과 도구가 사용되고 있나?
• RQ2 연구 워크플로에서 AI 모델이 실험 설계, 데이터 생성 및 자율 실험에 어떻게 적용되고 있나?
• RQ3 과학적 실천에서 단일모드 및 다중모달 AI 콘텐츠 생성(텍스트, 그림, 슬라이드)의 역량과 한계는 무엇인가?
• RQ4 AI 보조 동료 심화가 어떻게 진화하고 있으며, 윤리 및 거버넌스 측면의 함의는 무엇인가?
• RQ5 AI 보조 과학적 작업을 평가하는 데 사용되는 데이터 세트, 벤치마크 및 평가 지표는 무엇이며, 격차는 어디에 있나?

주요 결과

• AI 도구는 점차 문헌 검색, 요약, 비교에 통합되어 맥락 인식 검색과 구조화된 통찰을 가능하게 한다.
• AI 보조 실험 및 아이디어 생성이 진전되고 있으며, 시스템은 연구 주기의 일부를 자동화하는 것을 목표로 한다.
• 다중모달 콘텐츠 생성 및 이해(도표, 표, 슬라이드)는 활발한 영역으로, 과학적 시각 자료의 자동 생성 및 해석을 가능하게 한다.
• AI 보조 동료 심사 및 자동 피드백이 탐구 중이며, 과학적 엄밀성과 주장 확인에 주의를 기울인다.
• 허위정보, 편향, 평가 품질, 거버넌스와 같은 윤리적 우려가 논의의 중심이며 조사 전반에 걸쳐 다루어진다.

Figure 3. Overview of the scientific figure generation process.