[논문 리뷰] AutoRepo: A general framework for multi-modal LLM-based automated construction reporting

Hongxu Pu, Xincong Yang외 3명|arXiv (Cornell University)|2023. 10. 11.

Infrastructure Maintenance and Monitoring인용 수 6

한 줄 요약

AutoRepo는 다중모달 대규모 언어 모델(Large Language Models, LLMs)과 무인 차량을 활용하여 건설 현장 점검 보고서를 자동화하는 혁신적인 프레임워크이다. 드론이나 로봇을 통해 시각적 및 환경 데이터를 수집하고, 이를 다중모달 LLMs로 처리함으로써 고품질의 규제 준수 보고서를 생성함으로써 실제 건설 현장에서 수작업의 부담을 크게 줄이고 점검 효율성과 정확도를 향상시킨다.

ABSTRACT

Ensuring the safety, quality, and timely completion of construction projects is paramount, with construction inspections serving as a vital instrument towards these goals. Nevertheless, the predominantly manual approach of present-day inspections frequently results in inefficiencies and inadequate information management. Such methods often fall short of providing holistic, exhaustive assessments, consequently engendering regulatory oversights and potential safety hazards. To address this issue, this paper presents a novel framework named AutoRepo for automated generation of construction inspection reports. The unmanned vehicles efficiently perform construction inspections and collect scene information, while the multimodal large language models (LLMs) are leveraged to automatically generate the inspection reports. The framework was applied and tested on a real-world construction site, demonstrating its potential to expedite the inspection process, significantly reduce resource allocation, and produce high-quality, regulatory standard-compliant inspection reports. This research thus underscores the immense potential of multimodal large language models in revolutionizing construction inspection practices, signaling a significant leap forward towards a more efficient and safer construction management paradigm.

연구 동기 및 목표

• 기존 수작업 건설 점검 방식에서 발생하는 비효율성과 정보 관리 격차를 해결하기 위해.
• 점검 보고서 작성 시 인간 자원 의존도와 오류율을 줄이기 위해.
• 규제 준수 보고서를 생성할 수 있는 확장 가능한 자동화 프레임워크를 개발하기 위해.
• 시각적, 텍스트적, 환경적 데이터를 통합하여 종합적인 평가를 수행하기 위해.
• LLM 기반 자동화 기술이 실제 건설 현장 환경에서 실현 가능하고 효과적인지 입증하기 위해.

제안 방법

• 건설 현장에서 다중 센서 데이터를 수집하기 위해 무인 차량(예: 드론 또는 지상 로봇)을 활용한다.
• 점검 현장의 시각적, 텍스트적, 환경적 입력을 처리하기 위해 다중모달 대규모 언어 모델(Multimodal Large Language Models, LLMs)을 적용한다.
• 영상 및 동영상을 통해 촬영한 이미지의 공간적 및 맥락적 세부 정보를 이해하기 위해 시각-언어 모델을 통합한다.
• LLM 출력 결과를 표준 건설 보고서 양식과 규제 요구사항에 맞추기 위해 프롬프트 엔지니어링 및 파인튜닝 기법을 적용한다.
• 원시 점검 데이터를 전문 문서 표준을 반영한 구조화되고 자연어 기반의 보고서로 변환한다.
• 실제 건설 현장에 프레임워크를 구현하여 성능과 사용성 평가를 수행함으로써 검증한다.

실험 결과

연구 질문

• RQ1 다중모달 LLMs는 복잡한 건설 현장의 시각적 및 환경적 데이터를 효과적으로 해석하여 정확한 점검 보고서를 생성할 수 있는가?
• RQ2 전통적 방식에 비해 AutoRepo는 건설 보고서 작성에 소요되는 수작업과 시간을 얼마나 줄일 수 있는가?
• RQ3 생성된 보고서의 규제 준수 수준과 산업 문서 관행 준수 정도는 어느 정도인가?
• RQ4 실제 건설 환경에서 자동 점검 보고서 시스템을 구현하는 데 실현 가능성은 어느 정도인가?
• RQ5 무인 차량과 LLM의 통합은 점검 결과의 완전성과 신뢰성에 어떻게 기여하는가?

주요 결과

• 프레임워크는 규제 준수 및 전문 문서 표준을 충족하는 점검 보고서를 성공적으로 생성하였다.
• 수작업 절차에 비해 AutoRepo는 보고서 생성에 소요되는 시간과 인력 자원을 크게 줄였다.
• 실제 건설 현장의 복잡한 시각적 및 환경적 데이터를 해석하는 데 있어 시스템의 뛰어난 성능을 입증하였다.
• 무인 차량과 다중모달 LLM의 통합을 통해 지속적이고 확장 가능한 데이터 수집 및 자동 보고 기능을 실현하였다.
• 프레임워크는 실제 건설 현장에서 검증되어 실용적 실현 가능성과 운영 잠재력을 확인하였다.
• 저자들은 생성된 보고서가 종합적이며 맥락적으로 정확하며, 규제 및 안전 관리 목적에 적합하다고 관찰하였다.