[논문 리뷰] Accelerating science with human versus alien artificial intelligences

Jamshid Sourati, James A. Evans|arXiv (Cornell University)|2021. 04. 12.

Machine Learning in Materials Science참고 문헌 6인용 수 4

한 줄 요약

이 논문은 과학적 발견을 향상시키기 위해 인간 전문가의 분포를 모델링하는 새로운 AI 프레임워크를 제안한다. 특히, 과학자들이 가능하게 생각할 만한 인지적 추론을 출판물, 저자, 과학적 개념의 초그래프를 통해 모델링한다. 이러한 전문가 인식 추론을 기반으로 자기지도 학습 모델을 훈련시킴으로써, 약물 재편성 및 백신 개발 분야에서 예측 정확도를 최대 260% 향상시키며, 인간이 간과한 과학적으로 유망한 '이방인' 가설을 식별함으로써 과학적 진전을 가속화하고 점진적인 발전을 이끈다.

ABSTRACT

Data-driven artificial intelligence models fed with published scientific findings have been used to create powerful prediction engines for scientific and technological advance, such as the discovery of novel materials with desired properties and the targeted invention of new therapies and vaccines. These AI approaches typically ignore the distribution of human prediction engines -- scientists and inventor -- who continuously alter the landscape of discovery and invention. As a result, AI hypotheses are designed to substitute for human experts, failing to complement them for punctuated collective advance. Here we show that incorporating the distribution of human expertise into self-supervised models by training on inferences cognitively available to experts dramatically improves AI prediction of future human discoveries and inventions. Including expert-awareness into models that propose (a) valuable energy-relevant materials increases the precision of materials predictions by ~100%, (b) repurposing thousands of drugs to treat new diseases increases precision by 43%, and (c) COVID-19 vaccine candidates examined in clinical trials by 260%. These models succeed by predicting human predictions and the scientists who will make them. By tuning AI to avoid the crowd, however, it generates scientifically promising "alien" hypotheses unlikely to be imagined or pursued without intervention, not only accelerating but punctuating scientific advance. By identifying and correcting for collective human bias, these models also suggest opportunities to improve human prediction by reformulating science education for discovery.

연구 동기 및 목표

• 기존의 과학적 발견을 위한 AI 모델이 인간 전문가의 분포와 그들의 인지적 추론을 忽시하는 한계를 해결하기 위해.
• 자기지도 학습 모델에 과학 전문성의 변화하는 분포를 통합하여 향후 과학적 발견의 예측 정확도를 향상시키기 위해.
• 인간의 인지적 편향을 피하고 인간의 추론 경로가 제한된 상태에서 과학적으로 유망하지만 간과된 가설—'이방인' 가설—을 식별하기 위해.
• 전문가 인식 AI가 알려진 발견 경로를 가속화할 뿐 아니라, 높은 잠재력이 있지만 간과된 연구 방향을 제안함으로써 과학적 진전을 점진적 변화가 아닌 급진적 변화로 이끄는지 입증하기 위해.
• 공동체적 인간 편향이 과학적 추론에 미치는 영향을 AI 보강된 발견을 통해 수정할 수 있음을 밝힘으로써 과학 교육 개혁에 통찰을 제공하기 위해.

제안 방법

• 자료, 성질, 연구자들을 노드로 하는 혼합 초그래프를 구축하여, 출판물에서 동시에 나타나는 노드 집합 간에 간선을 연결한다.
• 특정 연구 배경을 가진 과학자들이 가능하게 생각할 만한 추론 경로—인지적으로 이용 가능한 추론의 분포—를 초그래프 상의 무작위 보행을 통해 모델링한다.
• GraphSAGE 기반 그래프 오토인코더를 활용한 자기지도 학습 프레임워크를 통해, 초그래프 내의 구조적 관계와 전문가 인식 관계를 유지하는 저차원 노드 임베딩을 학습한다.
• 링크 예측 손실과 음성 샘플링을 사용하여 모델을 훈련시키며, 양성 쌍은 무작위 보행의 슬라이딩 윈도우에서, 음성 쌍은 3/4 거듭제곱을 적용한 유니그램 분포에서 추출한다.
• 두 가지 설정에서 접근법을 평가한다: 한쪽은 저자 노드를 포함하여 전문가 인식 추론 경로를 반영하고, 다른 쪽은 이를 배제하여 전문성 분포를 忽시하는 기준 모델이다.
• 정확도는 재료 과학, 약물 재편성, 백신 개발 분야에서 예측된 발견을 향후 알려진 발견과 비교하여 측정한다.

실험 결과

연구 질문

• RQ1 AI 모델에 인간 전문가의 분포를 통합함으로써 향후 과학적 발견에 대한 예측 정확도는 얼마나 향상되는가?
• RQ2 AI 모델은 인간 전문가가 인지적 편향이나 제한된 추론 경로로 인해 고려하지 않을 가능성이 높은 과학적으로 유망한 가설을 어느 정도 식별할 수 있는가?
• RQ3 전문가 인식 AI 모델은 알려진 발견 경로를 가속화할 뿐 아니라, 높은 잠재력이 있지만 간과된 연구 방향을 식별함으로써 과학적 진전을 점진적 변화가 아닌 급진적 변화로 이끌 수 있는가?
• RQ4 모델의 인도적 편향에 저자 및 연구 역사를 포함함으로써 인간 전문성을 忽시하는 모델과 비교해 볼 때, 향후 발견을 예측하는 데 있어 그 능력은 어떻게 변화하는가?
• RQ5 '이방인' AI 가설—인간의 추론 패턴을 피하는 가설—의 의미는 과학 교육 개혁과 공동체적 과학 혁신 강화에 어떤 영향을 미치는가?

주요 결과

• 자기지도 학습 모델에 인간 전문가의 분포를 통합함으로써 에너지 관련 재료에 대한 예측 정확도가 인간 전문성을 忽시하는 모델 대비 약 100% 향상된다.
• 약물 재편성 분야에서 전문가 인식 모델은 인간의 추론 패턴을 고려하지 않는 기준 모델 대비 예측 정확도를 43% 향상시킨다.
• 코로나19 백신 임상 시험 후보를 예측할 때 전문가 인식 모델은 인간 전문성을 忽시하는 모델 대비 정확도를 260% 향상시킨다.
• 모델은 인간이 상상하거나 추진하지 않을 가능성이 높은 과학적으로 유망한 '이방인' 가설을 성공적으로 식별함으로써 점진적 진보가 아닌 급진적 과학적 발전을 가능하게 한다.
• 연구 역사를 기반으로 과학자들이 인지적으로 이용 가능한 추론을 모델링함으로써, 이미 尝시되고 포기된 과학적 아이디어에 대한 추론을 안정적으로 캡처할 수 있다.
• 공동체적 인간 편향을 과학적 추론에서 수정함으로써 과학 교육 개혁을 통해 발견 중심 사고를 강화할 수 있음을 시사한다.