[논문 리뷰] Automating the Practice of Science -- Opportunities, Challenges, and Implications

Sebastian Musslick, Laura Bartlett외 12명|arXiv (Cornell University)|2024. 08. 27.

Health and Medical Research ImpactsMedicine인용 수 3

한 줄 요약

이 논문은 인공지능과 계산 도구를 통한 과학적 실천의 자동화를 다루며, 이는 발견 속도를 가속화하고 재현 가능성을 향상시키며 인간의 인지적 한계를 초월할 수 있음을 제안한다. 과학적 가설 생성과 이론 개발 분야에서의 핵심 기회를 규명하면서도, 기술적, 윤리적, 책임 소재 문제에 주목하여 자동화 과학의 다학제적 감시와 가치 일치가 필요하다고 강조한다.

ABSTRACT

Automation transformed various aspects of our human civilization, revolutionizing industries and streamlining processes. In the domain of scientific inquiry, automated approaches emerged as powerful tools, holding promise for accelerating discovery, enhancing reproducibility, and overcoming the traditional impediments to scientific progress. This article evaluates the scope of automation within scientific practice and assesses recent approaches. Furthermore, it discusses different perspectives to the following questions: Where do the greatest opportunities lie for automation in scientific practice?; What are the current bottlenecks of automating scientific practice?; and What are significant ethical and practical consequences of automating scientific practice? By discussing the motivations behind automated science, analyzing the hurdles encountered, and examining its implications, this article invites researchers, policymakers, and stakeholders to navigate the rapidly evolving frontier of automated scientific practice.

연구 동기 및 목표

• 다양한 학문 분야에서 과학적 실천의 자동화 범위와 잠재력을 평가하기 위해.
• 과학의 전면적 자동화를 저해하는 주요 기술적, 윤리적, 실무적 장애요소를 규명하기 위해.
• 자동화가 과학적 방법론, 재현 가능성, 인간 과학자의 역할에 미치는 영향을 검토하기 위해.
• 인공지능 기반 과학 연구에서의 편향, 책임 소재, 가치 일치와 같은 윤리적 우려 사항을 다루기 위해.
• 책임감 있는 과학 자동화를 이끄는 데 다학제적 협업과 외부 감시 프레임워크를 촉진하기 위해.

제안 방법

• 최근 인공지능, 소프트웨어, 컴퓨팅 하드웨어 분야의 발전을 통합하여 과학 워크플로우에의 통합 가능성을 평가한다.
• 유전체학, 재료 과학, 화학, 심리학, 수학 분야의 사례 연구를 분석하여 자동화의 실제 적용 사례를 제시한다.
• 메타과학과 과학 철학의 프레임워크를 적용하여 자동화의 인지론적 및 방법론적 영향을 평가한다.
• 인공지능 모델을 활용한 자동 문헌 리뷰, 가설 생성, 이론 개발의 역할을 분석한다.
• 실제 사례를 통해 자동화 시스템의 편향, 해석 가능성, '블랙박스' 행동과 관련된 위험을 평가한다.
• 외부 감시를 강조하는 가치 일치 및 책임 소재 프레임워크를 제안한다.

Figure 2: Closed-loop automation systems. (A) Adam for functional genomics. (B) A-Lab for materials science. (C) AutoRA for behavioral science. Dashed boxes list knowledge and processes provided by human researchers.

실험 결과

연구 질문

• RQ1 다양한 과학 분야에서 과학적 실천의 자동화에 가장 큰 기회가 있는 곳은 어디인가요?
• RQ2 과학적 발견의 자동화를 저지하는 주요 기술적 및 방법론적 장애요소는 무엇인가요?
• RQ3 데이터, 학습, 시스템 설계의 편향이 자동화된 과학적 결과의 신뢰성과 공정성에 어떤 영향을 미치나요?
• RQ4 자동화 시스템이 해로운 또는 윤리적으로 문제가 되는 과학적 결과를 내놓았을 때 누가 책임져야 하나요?
• RQ5 자동화가 과학적 범주와 과학적 탐구의 본질을 얼마나 근본적으로 재편할 수 있나요?

주요 결과

• 자동화는 화학 분야에서의 가설 생성, 재료 과학 분야에서의 재료 발견, 심리학 분야에서의 이론 개발을 이미 가속화하고 있다.
• 최근 인공지능의 발전으로 수학 분야에서 자동 문헌 리뷰와 추측 생성이 가능해져 시간을 단축하고 재현 가능성을 높였다.
• 자동화 시스템은 훈련 데이터의 편향을 물려받고 이를 확대할 수 있으며, 특히 심리학과 유전체학과 같이 소수자 분야에서 더욱 두드러진다.
• 일부 인공지능 시스템의 '블랙박스' 성격은 결과의 해석 가능성, 책임 소재, 과학적 결과에 대한 신뢰도에 대한 우려를 낳는다.
• 윤리적 위험으로는 해로운 연구(예: 무기 개발)에 대한 악용 가능성과 자동화된 발견에 대한 책임 소재 부여의 과제가 있다.
• 사회적 가치 일치와 인간 감시의 노조가 필요하므로 과학의 완전한 자동화는 실현 가능하지도 않고 바람직하지도 않다.