[논문 리뷰] Geotechnical Parrot Tales (GPT): Harnessing Large Language Models in geotechnical engineering

Krishna Kumar|arXiv (Cornell University)|2023. 04. 04.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 대형 언어 모델이 프롬프트 엔지니어링, 맥락 인식 질의, 추론 프롬프트, 그리고 엔지니어링 도구를 활용한 행동-관찰-사고(ReAct) 워크플로우 제안을 통해 환각을 줄이고 신뢰성을 향상시키는 방법으로 지반공학을 어떻게 보조할 수 있는지 조사한다.

ABSTRACT

The widespread adoption of large language models (LLMs), such as OpenAI's ChatGPT, could revolutionize various industries, including geotechnical engineering. However, GPT models can sometimes generate plausible-sounding but false outputs, leading to hallucinations. In this article, we discuss the importance of prompt engineering in mitigating these risks and harnessing the full potential of GPT for geotechnical applications. We explore the challenges and pitfalls associated with LLMs and highlight the role of context in ensuring accurate and valuable responses. Furthermore, we examine the development of context-specific search engines and the potential of LLMs to become a natural interface for complex tasks, such as data analysis and design. We also develop a unified interface using natural language to handle complex geotechnical engineering tasks and data analysis. By integrating GPT into geotechnical engineering workflows, professionals can streamline their work and develop sustainable and resilient infrastructure systems for the future.

연구 동기 및 목표

• 지반공학 작업에서 ChatGPT/LLMs의 가능성과 한계를 입증한다.
• 환각 및 정합성 이탈 방지를 위한 프롬프트 엔지니어링의 중요성을 강조한다.
• 공학 분석의 신뢰성을 높이기 위한 맥락-특정적이고 도구 지원 워크플로를 제안한다.

제안 방법

• 트랜스포머 기반 텍스트 생성과 어텐션, 온도 및 확률적 단어 선택이 출력에 미치는 영향을 설명한다.
• 프롬프트 엔지니어링을 LLM을 작업 특화 결과로 유도하는 수단으로 설명한다.
• 벡터 임베딩과 FAISS를 활용한 맥락별 검색 엔진을 제안하여 GPT에 관련 DIGGS 컨텍스트를 제공한다.
• 사고의 체인(Chain-of-Thought) 프롬프트를 통한 추론과 엔지니어링 작업에서의 한계를 논의한다.
• 단기/장기 기억 도구를 보강한 행동-관찰-사고(ReAct) 스타일 프레임워크를 도입하여 복잡한 워크플로를 지원한다.
• GPT가 BearingCapacityTool, SoilReportTool 등 전용 도구를 사용하여 지반 공학 계산을 수행하는 워크플로를 제시한다.

Figure 1: GPT text generation using transformers.

실험 결과

연구 질문

• RQ1 프롬프트 엔지니어링이 지반공학 작업에서 LLM의 환각을 완화하고 신뢰성을 향상시킬 수 있는가?
• RQ2 맥락별 검색 및 도구 지원 프레임워크가 GPT가 신뢰할 수 있는 지반공학 분석을 수행하도록 할 수 있는가?
• RQ3 추론-행동 프레임워크가 LLM을 활용한 복잡한 공학 워크플로를 처리하는 데 얼마나 잠재력이 있는가?
• RQ4 단기 및 장기 기억을 어떻게 통합해 반복적인 지반공학 계산을 지원할 수 있는가?

주요 결과

• LLMs는 환각과 정합성 이탈에 취약하므로 신중한 프롬프트 설계와 맥락적 근거가 필수적이다.
• 맥락별 의미적 검색 워크플로는 GPT에 정확한 도메인 맥락(예: DIGGS XML 태그)을 제공하여 부정확한 출력 감소에 기여할 수 있다.
• 추론 프롬프트(사고의 체인)는 문제 해결 단계를 보여주지만 적절한 제약이 없으면 여전히 잘못된 결과를 낼 수 있다.
• 엔지니어링 도구를 갖춘 행동-관찰-사고(ReAct) 접근 방식은 구조화된 워크플로를 가능하게 하고 계산 신뢰성을 개선할 수 있다.
• 단기 및 장기 기억의 통합은 LLM 도구 사용과 결합될 때 지반공학의 복잡한 과제를 더 정확하게 해결하는 데 도움이 될 수 있으며, 제안된 최대 하중 예제로 설명된다.

Figure 2: ChatGPT response to write a Python code for soil classification.