[논문 리뷰] Future-proofing geotechnics workflows: accelerating problem-solving with large language models

Stephen Wu, Yu Otake외 17명|arXiv (Cornell University)|2023. 12. 14.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 ChatGPT와 같은 대규모 언어 모델(Large Language Models, LLMs)이 텍스트 기반 데이터 추출에서 다중모달 분석에 이르기까지 다양한 작업을 빠르고 데이터 기반으로 해결할 수 있도록 지반공학 분야의 업무 프로세스를 가속화할 수 있음을 보여준다. 20명의 전문가를 대상으로 실시한 실습 워크숍 기반 연구에서 LLMs는 효율성과 의사결정을 향상시키지만, 전문적 응용 분야에서 정확성을 확보하기 위해 전문가의 감시와 맞춤형 인터페이스가 여전히 필수적임을 확인하였다.

ABSTRACT

The integration of Large Language Models (LLMs) like ChatGPT into the workflows of geotechnical engineering has a high potential to transform how the discipline approaches problem-solving and decision-making. This paper delves into the innovative application of LLMs in geotechnical engineering, as explored in a hands-on workshop held in Tokyo, Japan. The event brought together a diverse group of 20 participants, including students, researchers, and professionals from academia, industry, and government sectors, to investigate practical uses of LLMs in addressing specific geotechnical challenges. The workshop facilitated the creation of solutions for four different practical geotechnical problems as illustrative examples, culminating in the development of an academic paper. The paper discusses the potential of LLMs to transform geotechnical engineering practices, highlighting their proficiency in handling a range of tasks from basic data analysis to complex, multimodal problem-solving. It also addresses the challenges in implementing LLMs, particularly in achieving high precision and accuracy in specialized tasks, and underscores the need for expert oversight. The findings demonstrate LLMs' effectiveness in enhancing efficiency, data processing, and decision-making in geotechnical engineering, suggesting a paradigm shift towards more integrated, data-driven approaches in this field. This study not only showcases the potential of LLMs in a specific engineering domain, but also sets a precedent for their broader application in interdisciplinary research and practice, where the synergy of human expertise and artificial intelligence redefines the boundaries of problem-solving.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)를 실제 지반공학 업무 프로세스에 통합하는 데 실용적인 접근법을 탐색하는 것.
• 복잡하고 데이터가 부족하며 다학제적인 지반공학 문제를 해결하는 데 LLMs의 효과성을 평가하는 것.
• 정밀도, 신뢰성, 도메인 전용 도구와의 통합과 관련된 LLM 적용 시 과제를 특정화하는 것.
• 비AI 전문가도 가이드된 실습 워크숍을 통해 짧은 훈련으로 LLMs를 지반공학 작업에 신속하게 적용할 수 있음을 보여주는 것.
• 자동화와 전문가 검증의 균형을 고려한 향후 지반공학 분야에서의 LLM 도입을 위한 프레임워크를 수립하는 것.

제안 방법

• 학계, 산업계, 정부 소속의 지반공학 전문가, 학생, 연구자 20명으로 구성된 실습 워크숍을 실시하였다.
• 실제 지반공학 문제 4건에 LLMs를 적용하여 데이터 해석, 설계 개념 생성, 보고서 요약 등의 작업을 수행하였다.
• 지반공학적 맥락에서의 도메인 관련성과 정확도 향상을 위해 GPT-4의 커스터마이즈된 버전을 사용하였다.
• 기술적 정밀도를 향상시키기 위해 프롬프트 엔지니어링과 반복적 피드백을 활용하여 LLM의 출력을 정교화하였다.
• 기존의 지반공학 데이터베이스 및 분석 도구와 LLMs를 통합하여 데이터 검색 및 해석 능력을 향상시켰다.
• 공 ing 엔지니어링 워크플로우 내에서 수치적 및 텍스트 기반 데이터 소스와의 효과적인 상호작용을 보장하기 위해 인터페이스를 설계하였다.

실험 결과

연구 질문

• RQ1 LLMs는 지반공학 업무 프로세스의 문제 해결을 가속화하는 데 어떻게 효과적으로 적용될 수 있는가?
• RQ2 토양 성질 추정이나 설계 파rameter 생성과 같은 고정밀도 지반공학 작업에 LLMs를 사용할 때의 주요 과제는 무엇인가?
• RQ3 AI에 대한 전문 지식이 없는 비전문가가 최소한의 훈련으로 복잡한 지반공학 문제에 LLMs를 빠르게 적용할 수 있는 정도는 어느 정도인가?
• RQ4 LLMs는 기존의 공학 도구와 데이터베이스와 어떻게 통합되어 데이터 처리 및 의사결정을 향상시킬 수 있는가?
• RQ5 지반공학 응용 분야에서 LLM이 생성한 출력의 신뢰성과 정확도를 확보하기 위해 전문가의 감시가 수행하는 역할은 무엇인가?

주요 결과

• LLMs는 지반공학 분야에서 텍스트 및 다중모달 데이터의 빠른 분석을 가능하게 하여 데이터 처리 및 문제 해결 능력을 크게 향상시켰다.
• 워크숍을 통해 AI 경험이 없는 참가자들도 LLMs를 효과적으로 활용하여 기술적 통찰력과 설계 개념을 도출할 수 있음을 입증하였다.
• LLMs는 토양 시험 보고서 요약, 핵심 파rameter 추출, 초도 설계 아이디어 생성 등의 작업에서 뛰어난 성능을 보였다.
• 강점이 있음에도 불구하고, LLMs는 확률적 출력을 생성하여 특히 수치 정밀도와 규제 준수 여부에 대해 전문가의 검증이 필요함을 확인하였다.
• 정밀도 향상과 도메인 전용 도구와의 원활한 통합을 위해 파라미터 조정(fine-tuning)과 인터페이스 설계가 핵심 요소로 규명되었다.
• 본 연구는 LLMs를 지반공학 분야의 보조 도구로 활용할 수 있음을 전제로 하며, 신뢰성 확보를 위해 인간이 개입하는 검증 절차의 필요성을 강조하였다.