[論文レビュー] Geotechnical Parrot Tales (GPT): Harnessing Large Language Models in geotechnical engineering

Krishna Kumar|arXiv (Cornell University)|Apr 4, 2023

Topic Modeling被引用数 8

ひとこと要約

この論文は、プロンプト設計、文脈依存の検索、推論プロンプト、エンジニアリングツールを用いた行動・観察・思考ワークフローの提案を通じて、大規模言語モデルが地盤工学を支援できる方法を調査し、幻覚の低減と信頼性の向上を目指す。

ABSTRACT

The widespread adoption of large language models (LLMs), such as OpenAI's ChatGPT, could revolutionize various industries, including geotechnical engineering. However, GPT models can sometimes generate plausible-sounding but false outputs, leading to hallucinations. In this article, we discuss the importance of prompt engineering in mitigating these risks and harnessing the full potential of GPT for geotechnical applications. We explore the challenges and pitfalls associated with LLMs and highlight the role of context in ensuring accurate and valuable responses. Furthermore, we examine the development of context-specific search engines and the potential of LLMs to become a natural interface for complex tasks, such as data analysis and design. We also develop a unified interface using natural language to handle complex geotechnical engineering tasks and data analysis. By integrating GPT into geotechnical engineering workflows, professionals can streamline their work and develop sustainable and resilient infrastructure systems for the future.

研究の動機と目的

• 地盤工学タスクにおける ChatGPT/LLM の可能性と限界を示す。
• 幻覚とミスアライメントを軽減するためのプロンプト設計の重要性を強調する。
• 信頼性を向上させるための文脈特化型およびツール支援ワークフローを提案する。

提案手法

• 注意機構、温度、確率的語彙選択が出力に与える影響を含む Transformer ベースのテキスト生成を説明する。
• タスク固有の結果へLLMsを導く手段としてのプロンプト設計を説明する。
• 関連の DIGGS 文脈を GPT に供給するためのベクトル埋め込みと FAISS を用いた文脈特異的検索エンジンを提案する。
• 推論を chain-of-thought プロンプトで議論することと、エンジニアリングタスクにおける限界を議論する。
• 短期・長期メモリツールを備えた Action-Observation-Thought（ReAct）型フレームワークを導入し、複雑なワークフローを支援する。
• GPT が専用ツール（例：BearingCapacityTool、SoilReportTool）を使用して地盤工学計算を実行するワークフローを説明する。

Figure 1: GPT text generation using transformers.

実験結果

リサーチクエスチョン

• RQ1 プロンプト設計は地盤工学タスクにおける幻覚の軽減と信頼性の向上にどう寄与できるか。
• RQ2 文脈特異的検索とツール対応フレームワークは GPT に信頼性の高い地盤工学分析を実行させられるか。
• RQ3 推論と行動のフレームワークがLLMとともに複雑なエンジニアリングワークフローを扱う可能性はどうか。
• RQ4 長期・短期メモリを統合して反復的な地盤工学計算を支援するにはどうすればよいか。

主な発見

• LLMs は幻覚やミスマッチを起こしやすいため、慎重なプロンプト設計と文脈的接地が不可欠である。
• 文脈特異的セマンティック検索ワークフローは、GPT に正確な領域コンテキスト（例：DIGGS XMLタグ）を提供し、誤った出力を減らすことができる。
• 推論プロンプト（チェーン・オブ・ソート）は問題解決手順を示すことができるが、適切な制約がなければ誤った結果を生む可能性がある。
• エンジニアリングツールを備えたアクション・観察・思考（ReAct）アプローチは、構造化されたワークフローを実現し計算の信頼性を向上させる。
• 短期・長期メモリをLLMのツール利用と統合することで、提案された最大荷重の例のように、複雑な地盤工学タスクをより正確に解くことができる。

Figure 2: ChatGPT response to write a Python code for soil classification.