[논문 리뷰] Translating Regulatory Clauses into Executable Codes for Building Design Checking via Large Language Model Driven Function Matching and Composing

Zhe Zheng, Han, Jin외 4명|arXiv (Cornell University)|2023. 08. 17.

Software Engineering Research인용 수 10

한 줄 요약

본 논문은 LLM-FuncMapper를 도입하여 복잡한 조항 로직을 포착하기 위해 66개의 원자 함수(atomic functions)를 정의하고, LLM 주도의 함수 매칭 및 구성을 활용하여 규제 텍스트를 건물 설계의 자동 규칙 점검을 위한 실행 가능한 코드로 변환한다.

ABSTRACT

Translating clauses into executable code is a vital stage of automated rule checking (ARC) and is essential for effective building design compliance checking, particularly for rules with implicit properties or complex logic requiring domain knowledge. Thus, by systematically analyzing building clauses, 66 atomic functions are defined first to encapsulate common computational logics. Then, LLM-FuncMapper is proposed, a large language model (LLM)-based approach with rule-based adaptive prompts that match clauses to atomic functions. Finally, executable code is generated by composing functions through the LLMs. Experiments show LLM-FuncMapper outperforms fine-tuning methods by 19% in function matching while significantly reducing manual annotation efforts. Case study demonstrates that LLM-FuncMapper can automatically compose multiple atomic functions to generate executable code, boosting rule-checking efficiency. To our knowledge, this research represents the first application of LLMs for interpreting complex design clauses into executable code, which may shed light on further adoption of LLMs in the construction domain.

연구 동기 및 목표

• 암시적 속성을 가진 복잡한 규제 조항을 자동 규칙 점검(ARC)으로 해석하는 도전 과제를 해결한다.
• 건물 규정에 흔히 나타나는 계산 로직을 포착하기 위한 원자 함수 라이브러리를 개발한다.
• LLM 주도 함수 매칭 및 코드 생성을 위한 규칙 기반 적응 프롬프트 방법을 제안한다.

제안 방법

• 건물 조항에서 발견되는 일반적인 계산 로직을 포괄하기 위해 66개의 원자 함수 라이브러리를 정의한다.
• 조항들을 문장 분할하고 표 데이터를 텍스트로 변환하는 전처리를 수행한 다음, 의미 라벨링과 IFC 기반 매칭을 통해 원자 함수를 추출한다.
• 개체를 다섯 가지 IFC 정렬 카테고리로 분류하고 입력/출력을 갖춘 함수 시그니처를 설계한다.
• 도메인 지식 주입을 포함한 규칙 기반 적응 프롬프트 프레임워크를 개발하여 조항을 원자 함수에 매핑하고 코드를 생성한다.
• 다중 LLM의 함수 매칭 평가를 위해 사고의 사슬 프롬프트(chain-of-thought)와 적응 전략을 사용하여 함수 매칭을 평가하고, 전반적 성능, 환각 현상, 다양한 조항 난이도를 평가한다.
• 설비의 화재 보호 조항에 대해 원자 함수를 자동으로 구성해 실행 가능한 코드로 변환하는 사례를 제시한다.

실험 결과

연구 질문

• RQ1 암시적 속성을 갖는 복잡한 건물 코드 조항을 실행 가능한 계산 함수로 어떻게 표현할 수 있는가?
• RQ2 조항을 원자 함수로 매핑하는 LLM 주도 매핑이 ARC를 위한 실행 가능한 코드를 효율적으로 생성할 수 있는가?
• RQ3 기준 방법과 비교하여 규칙 기반의 적응 프롬프트 전략의 효과는 어느 정도인가?
• RQ4 실제 플랜트 시나리오에서 구성된 코드가 규칙 점검을 얼마나 잘 수행하는가?

주요 결과

• LLM-FuncMapper는 함수 매칭 정확도에서 약 19% 향상으로 파인튜닝 접근법을 능가한다.
• 원자 함수 라이브러리는 복잡한 조항 로직의 확장 가능한 표현을 가능하게 하고 수작업 주석 작업을 감소시킨다.
• LLM을 통한 조항 해석은 여러 개의 원자 함수를 자동으로 실행 가능한 코드로 구성하여 규칙 점검에 활용할 수 있다.
• 플랜트 사례 연구는 자동 코드 생성이 규칙 점검 효율성을 향상시킴을 보여준다.
• 도메인 지식 주입을 포함한 프롬프트 엔지니어링은 LLM이 원자 함수 라이브러리를 효과적으로 이해하고 활용하도록 돕는다.
• 이 접근 방식은 건설 분야에서 복잡한 설계 조항을 실행 가능한 코드로 번역하는 LLM의 첫 번째 적용을 제공한다.