[論文レビュー] Translating Regulatory Clauses into Executable Codes for Building Design Checking via Large Language Model Driven Function Matching and Composing

Zhe Zheng, Han, Jin+4 more|arXiv (Cornell University)|Aug 17, 2023

Software Engineering Research被引用数 10

ひとこと要約

本論文はLLM-FuncMapperを紹介します。複雑な節ロジックを捉えるための66の原子関数を定義し、LLM主導の関数マッチングと合成を用いて、建築設計における自動ルール検査のための実行可能なコードへ規制テキストを変換します。

ABSTRACT

Translating clauses into executable code is a vital stage of automated rule checking (ARC) and is essential for effective building design compliance checking, particularly for rules with implicit properties or complex logic requiring domain knowledge. Thus, by systematically analyzing building clauses, 66 atomic functions are defined first to encapsulate common computational logics. Then, LLM-FuncMapper is proposed, a large language model (LLM)-based approach with rule-based adaptive prompts that match clauses to atomic functions. Finally, executable code is generated by composing functions through the LLMs. Experiments show LLM-FuncMapper outperforms fine-tuning methods by 19% in function matching while significantly reducing manual annotation efforts. Case study demonstrates that LLM-FuncMapper can automatically compose multiple atomic functions to generate executable code, boosting rule-checking efficiency. To our knowledge, this research represents the first application of LLMs for interpreting complex design clauses into executable code, which may shed light on further adoption of LLMs in the construction domain.

研究の動機と目的

• ARCのための、暗黙的な特性を持つ複雑な規制条項の解釈という課題に対処する。
• 建築基準法に見られる共通の計算論理を捉える原子関数ライブラリを開発する。
• LLM駆動の関数マッチングとコード生成のための、ルールベースの適応プロンプティング手法を提案する。

提案手法

• 建築条項に見られる共通の計算論理をカプセル化する66個の原子関数ライブラリを定義する。
• 条項を文ごとに分割し、表データをテキストへ変換して前処理し、意味ラベリングとIFCベースのマッチングにより原子関数を抽出する。
• オブジェクトを5つのIFC適合カテゴリに分類し、入力/出力を持つ関数シグネチャを設計する。
• 条項を原子関数へマップしコードを生成するため、ドメイン知識を注入したルールベースの適応プロンプティング枠組みを開発する。
• チェーンオブソートプロンプトと適応戦略を用いて、関数マッチングのために複数のLLMを評価し、全体的な性能、誤情報（ハルセーション）、および条項の難易度の変化を評価する。
• 設備の防火条項のための原子関数を自動的に組み合わせて実行可能なコードを生成する事例を示す。

実験結果

リサーチクエスチョン

• RQ1 暗黙的な特性を持つ複雑な建築コード条項を、実行可能な計算関数としてどのように表現できるか。
• RQ2 LLM主導の条項の原子関数へのマッピングは、ARCの実行可能なコードを効率的に生成できるか。
• RQ3 基準法（ベースライン）と比較した、関数マッチングのためのルールベースの適応プロンプト戦略の有Effectivenessはどの程度か。
• RQ4 実際の設備シナリオにおけるルール検査で、組み合わせたコードはどれくらい機能するか。

主な発見

• LLM-FuncMapperは、関数マッチング精度でファインチューニング手法を約19％上回る。
• 原子関数ライブラリは、複雑な条項ロジックを拡張可能に表現し、手動注釈の労力を削減する。
• LLMを用いた条項解釈により、複数の原子関数を自動的に実行可能なコードへ組み合わせ、ルール検査を行える。
• 設備ケーススタディは、自動コード生成がルール検査の効率向上をもたらすことを示す。
• ドメイン知識を注入したプロンプト設計は、LLMsが原子関数ライブラリを効果的に理解・活用するのを助ける。
• このアプローチは、建設分野において複雑な設計条項を実行可能なコードへ翻訳するLLMの初の応用例を提供する。