[논문 리뷰] Accelerating science with human-aware artificial intelligence

Jamshid Sourati, James Evans|arXiv (Cornell University)|2023. 06. 02.

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 인간의 전문 지식 분포를 모델링하여 향후 과학적 발견을 예측하는 인간 인지에 민감한 인공지능을 제안한다. 전문가가 인지적으로 접근 가능한 추론을 시뮬레이션함으로써 AI 성능을 크게 향상시키며, 인간의 인지적 제약과 전문 지식을 통합함으로써 희박한 문헌 환경에서 예측 정확도를 최대 400% 향상시킨다. 이는 기존 연구 경로로는 도출되지 않을 가능성이 높은 '이질적'인 가설을 생성한다.

ABSTRACT

Artificial intelligence (AI) models trained on published scientific findings have been used to invent valuable materials and targeted therapies, but they typically ignore the human scientists who continually alter the landscape of discovery. Here we show that incorporating the distribution of human expertise by training unsupervised models on simulated inferences cognitively accessible to experts dramatically improves (up to 400%) AI prediction of future discoveries beyond those focused on research content alone, especially when relevant literature is sparse. These models succeed by predicting human predictions and the scientists who will make them. By tuning human-aware AI to avoid the crowd, we can generate scientifically promising "alien" hypotheses unlikely to be imagined or pursued without intervention until the distant future, which hold promise to punctuate scientific advance beyond questions currently pursued. Accelerating human discovery or probing its blind spots, human-aware AI enables us to move toward and beyond the contemporary scientific frontier.

연구 동기 및 목표

• 기존 AI 모델이 과학적 발견에서 인간의 인지적 및 전문 지식 제약을 忽시하는 데서 비롯되는 한계를 해결하기 위해.
• 인간 전문 지식의 분포와 인지적으로 접근 가능한 추론을 모델링하여 미래 과학적 발견의 AI 예측 성능을 향상시키기 위해.
• 현재 연구 공동체가 간섭 없이 고려하거나 추구하지 않을 가능성이 높은 과학적으로 유망한 가설을 생성하기 위해.
• AI가 과학적 맹점(블라인드 스포트)을 탐색하고 현재의 과학적 국경을 초월해 발견을 가속화할 수 있도록 하기 위해.

제안 방법

• 연구 내용에만 의존하는 것과는 달리, 인간 전문가가 인지적으로 접근 가능한 추론을 시뮬레이션한 데이터를 기반으로 비지도 학습 모델을 훈련한다.
• 대상 전문가의 지식 분포를 표현 학습 과정에 통합하여 누가 어떤 추론을 내릴 가능성이 높은지 반영한다.
• 전문가가 어떤 것을 예측할 가능성이 있는지를 모델링함으로써 인지적 타당성을 과학적 신선도의 대체 지표로 사용한다.
• 일반적인 인간의 예측 패턴을 피하도록 AI를 튜닝하여 주류 연구 경로와 다소 벗어나 있는 '이질적' 가설을 생성한다.
• 내용 중심 모델 대비 성능을 평가하기 위해 희박한 문헌 시나리오를 활용하여 모델의 성능을 시험한다.
• 기존 알려진 과학적 발견과 비교하여 예측을 검증하고, 인간 전문가 평가를 통해 과학적 새로운 정도를 평가한다.

실험 결과

연구 질문

• RQ1 인간 전문 지식 분포를 통합함으로써 AI의 미래 과학적 발견 예측 능력이 내용 중심 모델 대비 얼마나 향상되는가?
• RQ2 인간 인지에 민감한 AI는 현재 연구 공동체가 추구하지 않을 가능성이 높은 과학적으로 유망한 가설을 얼마나 잘 생성할 수 있는가?
• RQ3 인지적으로 접근 가능한 추론에 기반한 모델이 낮은 데이터 또는 희박한 문헌 환경에서 표준 NLP 모델보다 성능이 뛰어나게 되는가?
• RQ4 AI를 '대중의 경로'를 피하도록 튜닝함으로써 과학적 진전을 이끌 수 있는 가설을 어떻게 생성할 수 있는가?
• RQ5 인간 인지에 민감한 AI가 과학적 발견 과제에서 예측 정확도에 미치는 정량적 영향은 무엇인가?

주요 결과

• 인간 전문 지식 분포를 AI 모델에 통합함으로써, 특히 희박한 문헌 환경에서 내용 중심 모델 대비 미래 발견 예측 정확도가 최대 400% 향상되었다.
• 인간 인지에 민감한 AI 모델은 어떤 과학자가 어떤 추론을 내릴 가능성이 있는지를 시뮬레이션함으로써 실제 전문가 행동과 일치하는 발견을 성공적으로 예측했다.
• 일반적인 인간 예측 패턴을 피하도록 모델을 튜닝함으로써, 과학적으로 타당하지만 간과된 '이질적' 가설을 생성하였으며, 이는 새로운 발견의 길을 제시한다.
• 기존 AI 모델이 학습 신호가 부족해 어려움을 겪는 저데이터 환경에서도 모델이 뛰어난 성능을 보였다.
• 이 방법은 과학적 맹점 식별이 가능하며, 기존에는 수십 년간 다뤄지지 않을 가능성이 높은 가설을 생성함으로써 발견을 가속화할 수 있다.