[논문 리뷰] Agents for self-driving laboratories applied to quantum computing

Shuxiang Cao, Zijian Zhang외 6명|arXiv (Cornell University)|2024. 12. 10.

Scientific Computing and Data Management인용 수 6

한 줄 요약

요약: 이 논문은 LLM 기반 에이전트를 활용하여 실험실 실험을 자동화하는 지식 기반 다중 에이전트 프레임워크인 k-agents를 소개하며, 초전도 양자 프로세서를 보정·운용하고 닫힌 루프 피드백으로 얽힘 상태를 생성하는 시연을 제공합니다.

ABSTRACT

Fully automated self-driving laboratories are promising to enable high-throughput and large-scale scientific discovery by reducing repetitive labour. However, effective automation requires deep integration of laboratory knowledge, which is often unstructured, multimodal, and difficult to incorporate into current AI systems. This paper introduces the k-agents framework, designed to support experimentalists in organizing laboratory knowledge and automating experiments with agents. Our framework employs large language model-based agents to encapsulate laboratory knowledge including available laboratory operations and methods for analyzing experiment results. To automate experiments, we introduce execution agents that break multi-step experimental procedures into agent-based state machines, interact with other agents to execute each step and analyze the experiment results. The analyzed results are then utilized to drive state transitions, enabling closed-loop feedback control. To demonstrate its capabilities, we applied the agents to calibrate and operate a superconducting quantum processor, where they autonomously planned and executed experiments for hours, successfully producing and characterizing entangled quantum states at the level achieved by human scientists. Our knowledge-based agent system opens up new possibilities for managing laboratory knowledge and accelerating scientific discovery.

연구 동기 및 목표

• 다모달 및 동적 지식을 갖춘 실험실 자동화의 과제와 동기를 제시한다.
• 미세 조정 없이 실험실 지식을 에이전트 기반 시스템에 인코딩하기 위한 k-agents 프레임워크를 제안한다.
• 에이전트 주도 워크플로우를 사용한 초전도 양자 프로세서의 자율 보정과 작동을 시연한다.
• 지식, 번역, 점검, 실행 에이전트가 닫힌 루프의 실험 계획 및 실행을 가능하게 하는 방법을 보여준다.

제안 방법

• 자연어를 통해 실험실 지식을 전달하기 위한 지식 에이전트를 정의한다.
• 자연어 지시를 실행 가능한 코드로 변환하는 코드 번역 에이전트와 절차 번역 에이전트를 구현한다.
• 실험 결과를 분석하고 자연어 보고서를 생성하는 점검 에이전트를 도입한다.
• 절차를 에이전트 기반 상태 기계로 분해하고 다단계 실험을 조정하는 실행 에이전트를 개발한다.
• 표준 RAG 방법과 시각적 점검의 효과를 예시 그림으로 평가하며 번역 정확도를 벤치마크한다.
• 16-큐빗 초전도 프로세서에서 단일/이중 큐빗 게이트 보정을 자동화하고 토모그래피로 GHZ 상태를 생성하는 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 지식 기반 다중 에이전트 시스템이 광범위하고 다중 모드의 실험실 워크플로우를 광범위한 미세 조정 없이 자동화할 수 있는가?
• RQ2 LLM 기반 에이전트가 자연어 실험 지시를 실행 가능한 실험실 작업으로 효과적으로 번역할 수 있는가?
• RQ3 닫힌 루프의 에이전트 기반 상태 기계가 초전도 양자 프로세서의 확장 가능한 자율 보정 및 작동을 가능하게 하는가?
• RQ4 특히 시각 예시를 포함한 에이전트 기반 점검이 실험 성공 판단에 미치는 영향은 무엇인가?
• RQ5 이와 같은 프레임워크가 인간 전문가에 비견될 만큼의 얽힘 상태를 생성하고 충실도를 측정할 수 있는가?

주요 결과

• GPT-4o가 테스트된 모델 중 최고의 번역 정확도를 달성했으며 정확도는 97%이다.
• 시스템은 단일 큐빗 매개변수의 완전 자동 재보정 및 16-큐빗 프로세서에서 이중 큐빗 SIzzle 게이트 매개변수의 자동 탐색을 가능하게 했다.
• 시각 예시를 활용한 점검 에이전트가 시각적 점검 작업에서 실험 성공 판단에 있어 최상의 성능을 보였다.
• 워크플로우는 최대 3시간 실행되었고 최대 100건의 실험을 탐색하며 최적의 SIzzle 게이트 매개변수를 찾기 위해 최대 20개의 구동 주파수를 테스트했다.
• 인간이 지시한 GHZ 상태 토모그래피의 상태밀도 행렬의 충실도는 83.83%였다.
• 검증된 단일 큐빗에 대한 난수 벤치마킹은 게이트 충실도 99.869% ± 0.013%를 달성했다.