[논문 리뷰] Toward Human-AI Co-creation to Accelerate Material Discovery

Dmitry Yu. Zubarev, Carlos Raoni Mendes외 6명|arXiv (Cornell University)|2022. 11. 05.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 전문 지식과 인공지능 기반 도구를 통합하여 네 가지 핵심 활동(생성 모델링, 데이터셋 선별, 분자 심의, 위험 평가)을 통해 재료 발견을 가속화하는 인간-AI 공동 창작 워크벤치 프레임워크를 제안한다. 이 시스템은 전문가(SME)와 AI 에이전트 간 지식 기반의 반복적 협업을 가능하게 하며, 웹 기반의 구조화된 인터페이스를 통해 전문가의 판단을 기록하고 재사용함으로써 발견 효율성을 높이고 기회비용을 감소시킨다.

ABSTRACT

There is an increasing need in our society to achieve faster advances in Science to tackle urgent problems, such as climate changes, environmental hazards, sustainable energy systems, pandemics, among others. In certain domains like chemistry, scientific discovery carries the extra burden of assessing risks of the proposed novel solutions before moving to the experimental stage. Despite several recent advances in Machine Learning and AI to address some of these challenges, there is still a gap in technologies to support end-to-end discovery applications, integrating the myriad of available technologies into a coherent, orchestrated, yet flexible discovery process. Such applications need to handle complex knowledge management at scale, enabling knowledge consumption and production in a timely and efficient way for subject matter experts (SMEs). Furthermore, the discovery of novel functional materials strongly relies on the development of exploration strategies in the chemical space. For instance, generative models have gained attention within the scientific community due to their ability to generate enormous volumes of novel molecules across material domains. These models exhibit extreme creativity that often translates in low viability of the generated candidates. In this work, we propose a workbench framework that aims at enabling the human-AI co-creation to reduce the time until the first discovery and the opportunity costs involved. This framework relies on a knowledge base with domain and process knowledge, and user-interaction components to acquire knowledge and advise the SMEs. Currently,the framework supports four main activities: generative modeling, dataset triage, molecule adjudication, and risk assessment.

연구 동기 및 목표

• 재료 발견 전반에 걸친 비효율성과 정체성 문제, 특히 AI와 전문 지식을 조율하는 통합 플랫폼의 부재를 해결하기 위해.
• 전문가(SME)와 AI 에이전트 간 지속적인 협업 워크플로우를 통해 발견 시간 단축 및 기회비용 감소를 위해.
• 가설 생성에서 결론 도출에 이르는 발견 라이프사이클 전반에 걸쳐 지식의 체계적 캡처 및 재사용을 위한 통합 소프트웨어 프레임워크를 통해.
• AI가 생성한 재료의 타당성을 높이기 위해 전문가 기반의 위험 평가 및 신뢰도-확률 추론을 생성 과정에 통합하기 위해.
• 폴리머, 금속-유기 프레임워크, 생물질 기반 재료를 포함한 다양한 재료 발견 용도를 지원하는 유연하고 확장 가능한 플랫폼을 개발하기 위해.

제안 방법

• 프레임워크는 AI 및 전문가 도구를 하나의 조율된 워크플로우로 통합한 웹 기반의 발견 워크벤치(DWb)로 구현된다.
• 이 시스템은 네 가지 핵심 활동을 지원한다: 새로운 분자 설계를 위한 생성 모델링, 품질 필터링을 위한 데이터셋 선별, 전문가 검증을 위한 분자 심의, 그리고 신뢰도-확률 도표를 활용한 위험 평가.
• 신뢰도-확률 도표는 LOK(지식 수준)에 기반해 POS(성공 확률) 평가를 제약함으로써 지식이 낮은 상황에서의 과신을 방지하고, 지식이 높은 경우에 높은 신뢰도를 확보한다.
• 전문가 평가는 유사도 가중 참조(파란 사각형)로 시각화되며, 동료 검토 평가는 공통의 결정 기준 원을 사용해 편향을 줄이고 투명성을 높인다.
• 시스템은 발견 라이프사이클 전반에 걸쳐 지식을 추적하고 재사용하며, 위험 평가 결과가 생성 모델을 보완하고 校정하는 피드백 루프를 가능하게 한다.
• 플랫폼은 점진적인 지식 기반 코어닝을 지원하고, 최소한의 전문가 개입으로 다중 에이전트 AI 조율를 가능하게 하도록 설계되었다.

실험 결과

연구 질문

• RQ1 인간-AI 공동 창작 프레임워크는 재료 과학 분야에서 발견 시간 단축 및 기회비용 감소에 어떻게 기여하는가?
• RQ2 어떤 메커니즘이 발견 라이프사이클 전반에 걸쳐 전문가 지식과 AI 도구를 효과적으로 통합하는가?
• RQ3 신뢰도-확률 도표는 재료 발견에서 전문가의 위험 평가 신뢰성을 어떻게 향상시키는가?
• RQ4 캡처된 전문가 지식은 어떻게 AI 생성 모델을 안내하고 校정하는 데 재사용될 수 있는가?
• RQ5 과학적 발견에서 상호보완적이고 설명 가능하며 확장 가능한 인간-AI 상호작용을 지원하는 설계 원칙은 무엇인가?

주요 결과

• 발견 워크벤치(DWb) 프레임워크는 AI 도구의 유연한 통합과 체계적인 통합을 통해 종단 간 발견 애플리케이션 개발을 가능하게 한다.
• PAG(폴리머, 첨가제, 유리) 발견 애플리케이션의 初기 구현은 체계적인 워크플로우 조율를 통해 발견 속도 향상과 지식 관리 향상을 입증했다.
• 신뢰도-확률 도표의 사용은 LOK(지식 수준)에 기반해 전문가의 POS(성공 확률) 평가를 효과적으로 제약함으로써 불확실한 경우의 과신을 감소시켰다.
• 공동 결정 기반의 동료 검토 평가 방식은 개인의 편향을 줄이고 의사결정의 투명성과 정당성을 높였다.
• 유사도 기반 참조로 시각화된 전문가 지식은 발견 반복 과정 전반에 걸쳐 일관성과 재사용 가능성을 향상시켰다.
• 위험 평가에서 생성 모델로의 반복 피드백 루프를 지원함으로써, 타당성 있고 고위험도 후보를 생성할 가능성을 높였다.