[논문 리뷰] Enabling Large Language Models to Perform Power System Simulations with Previously Unseen Tools: A Case of Daline

Mengshuo Jia, Zeyu Cui외 1명|arXiv (Cornell University)|2024. 06. 25.

Power Systems and Technologies인용 수 5

한 줄 요약

논문은 이전에 보지 못한 도구 상자 Daline를 활용해 전력 시스템 시뮬레이션을 수행하도록 LLM을 지원하는 네 모듈형 프레임워크를 제시하며, 34개 작업에서 GPT-4o의 코딩 정확도 96.07%를 달성한다.

ABSTRACT

The integration of experiment technologies with large language models (LLMs) is transforming scientific research, offering AI capabilities beyond specialized problem-solving to becoming research assistants for human scientists. In power systems, simulations are essential for research. However, LLMs face significant challenges in power system simulations due to limited pre-existing knowledge and the complexity of power grids. To address this issue, this work proposes a modular framework that integrates expertise from both the power system and LLM domains. This framework enhances LLMs' ability to perform power system simulations on previously unseen tools. Validated using 34 simulation tasks in Daline, a (optimal) power flow simulation and linearization toolbox not yet exposed to LLMs, the proposed framework improved GPT-4o's simulation coding accuracy from 0% to 96.07%, also outperforming the ChatGPT-4o web interface's 33.8% accuracy (with the entire knowledge base uploaded). These results highlight the potential of LLMs as research assistants in power systems.

연구 동기 및 목표

• 전력 시스템 시뮬레이션을 위한 연구 보조자로서 LLM의 역할을 촉진하고 가능하게 한다.
• 프롬프트 설계, 향상된 RAG( Retrieval-Augmented Generation ), 도구상자 지향 설계, 피드백 루프를 결합한 모듈식 프레임워크를 개발한다.
• Daline 전력 흐름 및 선형화 도구상자의 34개 작업에 걸쳐 프레임워크를 검증한다.
• 여러 기법의 통합이 기초 접근법 대비 우수한 시뮬레이션 코딩 정확도를 가져옴을 보여준다.

제안 방법

• 네 모듈 프레임워크를 제안한다: (i) 프롬프트 설계, (ii) 향상된 Retrieval-Augmented Generation(RAG), (iii) LLM 지향 도구상자 보조 설계, (iv) 피드백 루프 설계.
• 도구상자 기반 시뮬레이션에 맞춘 사고의 연쇄(chain-of-thought)와 소수 예시 프롬프트를 사용해 LLM의 행동을 단계별로 안내한다.
• 긴 요청을 하위 요청으로 분해하고 병렬 검색을 위한 기능/매개변수 키워드에 매핑하기 위한 쿼리 계획과 함께 향상된 RAG 전략을 개발한다.
• 정보 검색과 신뢰성을 높이기 위해 RAG 친화적 지식 베이스 문서와 도구상자의 구문 검사/오류 보고를 생성한다.
• 자세한 오류 보고서와 문제 해결 지침이 포함된 피드백 루프를 구현해 코드를 반복적으로 수정한다.
• Daline의 34개 시뮬레이션 작업에서 20가지 기법 체계를 사용해 프레임워크를 검증하고 작업당 최대 3회 시도까지의 코딩 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 모듈식 프레임워크가 모델이 모르는 도구를 사용해 LLM이 전력 시스템 시뮬레이션을 수행하도록 할 수 있는가?
• RQ2 프롬프트 설계, 향상된 RAG, 도구상자 설계, 피드백 루프가 각각 및 누적적으로 전력 시스템 시뮬레이션의 코딩 정확도에 어떤 영향을 미치는가?
• RQ3 이전에 보지 못한 도구상자인 Daline을 사용하는 것이 LLM 성능에 어떤 영향을 미치는가?
• RQ4 어떤 기법 조합이 LLM의 시뮬레이션 코딩 정확도 중 최고를 달성하는가?

주요 결과

• 제안된 프레임워크를 사용한 GPT-4o가 34개 작업에서 96.07%의 코딩 정확도를 달성하여 ChatGPT-4o 웹 인터페이스의 33.82% 정확도보다 크게 우수하다.
• 향상된 RAG만으로도 기본 검색 방법보다 정확도가 향상된다(예: GPT-3.5-NK에서 GPT-3.5-Full로).
• 향상된 RAG와 결합했을 때 소수 샷 프롬프트가 정확도를 상당히 높인다(예: 45.09%에서 81.37%로).
• RAG 친화적 지식 베이스 문서와 구문 검사/오류 보고는 신뢰성과 정확도를 실질적으로 향상시킨다(예: RAG 친화적 문서와 사용자 매뉴얼만 비교했을 때 75.49% 대 60.29%).
• 정확도 향상은 기술 간 누적적이며 여러 구성 요소가 최상 성능에 기여한다(GPT-4o-Full 96.07%).