[논문 리뷰] Math Agents: Computational Infrastructure, Mathematical Embedding, and Genomics

Melanie Swan, Takashi Kido외 2명|arXiv (Cornell University)|2023. 07. 04.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 과학 문헌에서 과학적 방정식을 실행 가능한 LaTeX 및 Python 코드로 변환할 수 있는 LLM 기반의 시스템인 Math Agents를 소개한다. 이는 유전체학과 시스템 생물학 분야에서 확장 가능한 계산 기반 인프라를 제공한다. 수학적 임bedding과 에피소딕 메모리를 활용함으로써, '빅 데이터'가 아닌 '빅 수학'으로의 전환을 이끌며, 종단 간 건강 데이터에서 인과 관계를 모델링하고 알츠하이머병과 같은 해결되지 않은 문제를 해결할 길을 열어준다.

ABSTRACT

The advancement in generative AI could be boosted with more accessible mathematics. Beyond human-AI chat, large language models (LLMs) are emerging in programming, algorithm discovery, and theorem proving, yet their genomics application is limited. This project introduces Math Agents and mathematical embedding as fresh entries to the "Moore's Law of Mathematics", using a GPT-based workflow to convert equations from literature into LaTeX and Python formats. While many digital equation representations exist, there's a lack of automated large-scale evaluation tools. LLMs are pivotal as linguistic user interfaces, providing natural language access for human-AI chat and formal languages for large-scale AI-assisted computational infrastructure. Given the infinite formal possibility spaces, Math Agents, which interact with math, could potentially shift us from "big data" to "big math". Math, unlike the more flexible natural language, has properties subject to proof, enabling its use beyond traditional applications like high-validation math-certified icons for AI alignment aims. This project aims to use Math Agents and mathematical embeddings to address the ageing issue in information systems biology by applying multiscalar physics mathematics to disease models and genomic data. Generative AI with episodic memory could help analyse causal relations in longitudinal health records, using SIR Precision Health models. Genomic data is suggested for addressing the unsolved Alzheimer's disease problem.

연구 동기 및 목표

• 현재 유전체학 분야에서의 생성형 AI의 한계를 해결하기 위해, 수학적 추론을 위한 계산 기반 인프라로 Math Agents를 도입한다.
• 과학 문헌 내 디지털 형태의 방정식 표현에 대한 자동화되고 대규모 평가 도구의 부족을 해결한다.
• 수학적 임bedding과 LLM을 통합하여 시스템 생물학에서 확장 가능하고 형식적인 수학적 추론을 가능하게 한다.
• 다중 척도 물리 기반 수학을 적용하여 질병 진행 상황을 모델링하고 종단 간 건강 기록에서 인과 관계를 분석한다.
• 특히 알츠하이머병과 같은 복잡한 질병에 대해 SIR 모델과 AI 지원 분석을 통해 정밀의료를 발전시킨다.

제안 방법

• GPT 기반 워크플로우를 활용하여 과학 문헌에서 방정식을 자동으로 추출하고, 표준화된 LaTeX 및 Python 형식으로 변환한다.
• 형식적인 수학적 표현을 벡터 공간에 표현하기 위한 수학적 임bedding을 개발하여 의미 기반 검색과 추론을 가능하게 한다.
• 생성형 AI에 에피소딕 메모리를 구현하여 시간에 따라 변화하는 수학적 및 생물학적 데이터의 시퀀스를 유지하고 추론할 수 있도록 한다.
• LLM을 언어 사용자 인터페이스로 통합하여 자연어 질의와 형식적인 수학적·계산적 표현 간의 다리를 놓는다.
• 종단 간 건강 데이터를 바탕으로 SIR(Susceptible-Infectious-Recovered) 정밀의료 모델을 활용하여 질병 역학을 모델링한다.
• 다중 척도 수학적 형식을 적용하여 유전체 분석에서 분자, 세포, 시스템 수준의 생물학적 과정을 연결한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델을 어떻게 체계적으로 활용하여 과학적 방정식을 계산 가능한 코드로 변환할 수 있는가?
• RQ2 수학적 임bedding이 생물학적 맥락에서 형식적인 수학적 표현의 검색 및 추론에 얼마나 기여할 수 있는가?
• RQ3 생성형 AI의 에피소딕 메모리가 종단 간 건강 및 유전체 데이터 세트에서의 인과 추론을 향상시킬 수 있는가?
• RQ4 Math Agents는 시스템 생물학과 정밀의료 분야에서 '빅 데이터'에서 '빅 수학'으로의 전환을 어떻게 가능하게 하는가?
• RQ5 형식적인 수학적 추론은 유전체 및 임상 데이터를 활용해 알츠하이머병과 같은 복잡한 질병을 모델링하는 데 어떤 역할을 할 수 있는가?

주요 결과

• GPT 기반 워크플로우가 과학 문헌의 방정식을 실행 가능한 LaTeX 및 Python 코드로 성공적으로 변환하여 후속 계산적 활용을 가능하게 하였다.
• 수학적 임bedding은 형식적인 수학적 표현에 대한 의미 기반 벡터 표현을 제공하여, 수학적 내용에 대한 검색 및 추론을 용이하게 하였다.
• 생성형 AI의 에피소딕 메모리는 시간 순서의 생물학적 및 임상 데이터에 대해 지속적인 추론을 가능하게 하여 종단 간 기록에서의 인과 추론을 지원하였다.
• SIR 기반 정밀의료 모델을 활용한 질병 진행 상황 모델링이 프로토타입으로 성공적으로 구현되어 만성 질환 예측에 유용할 가능성을 보였다.
• 다중 척도 물리 기반 수학과 유전체 데이터의 통합은 복잡한 생물학적 시스템을 모델링하는 데 있어 새로운 접근법을 제공하였다.
• 이 연구는 Math Agents가 정량 생물학 및 AI 정렬 분야에서 '빅 수학'을 발전시킬 기초 인프라로 자리매김할 수 있음을 시사한다.