[논문 리뷰] Quantifying the Benefit of Artificial Intelligence for Scientific Research

Jian Gao, Dashun Wang|arXiv (Cornell University)|2023. 04. 17.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

이 논문은 과학 연구에서 직접적인 AI 사용과 잠재적 AI 이점을 정량화하기 위한 측정 프레임워크를 개발하고, NLP를 74.6 million publications and 7.1 million patents에 적용하여 광범위한 AI 사용, 인용 프리미엄, 그리고 불평등의 함의를 드러낸다.

ABSTRACT

The ongoing artificial intelligence (AI) revolution has the potential to change almost every line of work. As AI capabilities continue to improve in accuracy, robustness, and reach, AI may outperform and even replace human experts across many valuable tasks. Despite enormous effort devoted to understanding the impact of AI on labor and the economy and AI's recent successes in accelerating scientific discovery and progress, we lack a systematic understanding of how AI advances may benefit scientific research across disciplines and fields. Here, drawing from the literature on the future of work and the science of science, we develop a measurement framework to estimate both the direct use of AI and the potential benefit of AI in scientific research, applying natural language processing techniques to 74.6 million publications and 7.1 million patents. We find that the use of AI in research is widespread throughout the sciences, growing especially rapidly since 2015, and papers that use AI exhibit a citation premium, more likely to be highly cited both within and outside their disciplines. Moreover, our analysis reveals considerable potential for AI to benefit numerous scientific fields, yet a notable disconnect exists between AI education and its research applications, highlighting a mismatch between the supply of AI expertise and its demand in research. Lastly, we examine demographic disparities in AI's benefits across scientific disciplines and find that disciplines with a higher proportion of women or Black scientists tend to be associated with less benefit, suggesting that AI's growing impact on research may further exacerbate existing inequalities in science. As the connection between AI and scientific research deepens, our findings may become increasingly important, with implications for the equity and sustainability of the research enterprise.

연구 동기 및 목표

• AI 발전이 학문 분야를 가로질러 과학 연구에 어떤 영향을 미치는지 체계적으로 이해하려는 동기를 부여한다.
• 과학에서 직접적 AI 사용과 잠재적 AI 이점을 구분하는 측정 프레임워크를 개발한다.
• 대규모 출판물 및 특허 데이터에 자연어 처리를 적용해 AI의 존재와 영향을 정량화한다.
• AI 공급과 연구 수요 간의 인구통계학적 및 교육적 불일치를 평가한다.
• 과학 분야 전반에 걸친 AI 이점의 형평성 함의를 고찰한다.

제안 방법

• 연구에서의 직접 AI 사용과 AI가 부여할 수 있는 더 넓은 이점을 구별하는 프레임워크를 정의한다.
• AI 관련 콘텐츠를 분석하기 위해 자연어 처리를 사용해 74.6 million publications and 7.1 million patents를 분석한다.
• 특히 2015년 이후의 AI 사용 증가를 시간에 따라 정량화한다.
• AI를 사용하는 논문의 인용 프리미엄을 측정한다(그들의 분야 내외에서).
• AI 이점의 학문 분야별 및 인구통계학적 패턴을 평가한다(예: 성별 및 인종 차이).

실험 결과

연구 질문

• RQ1 학문 간에 AI 사용이 과학 연구에 얼마나 광범위하게 퍼져 있나?
• RQ2 AI를 사용하는 논문의 인용 영향(프리미엄)은 비 AI 논문과 비교해 어떠한가?
• RQ3 다양한 과학 분야에 대한 AI의 잠재적 이점은 무엇이며, AI 교육 공급과 연구 적용 간의 간극은 어디에 있는가?
• RQ4 AI 이점이 인구통계학적 그룹과 학문 분야마다 어떻게 다른가, 그리고 어떤 형평성 함의가 생기는가?

주요 결과

• AI 사용은 과학 전반에 걸쳐 광범위하며 2015년 이후 급격히 증가해 왔다.
• AI를 사용하는 논문은 인용 프리미엄을 보이며 자주 높은 인용을 얻는 경향이 있다.
• AI가 많은 분야에서 큰 이점을 제공할 잠재력이 있지만 AI 교육 공급과 연구 수요 간에 불일치가 있다.
• 학문 간 AI 이점에 차이가 있으며, 여성이나 흑인 과학자가 더 높은 비율일수록 이점이 덜한 것으로 나타난다.
• 확대되는 AI–과학 연결은 연구 영역의 형평성과 지속 가능성에 함의를 가진다.