[논문 리뷰] Utilizing Large Language Models for Information Extraction from Real Estate Transactions

Yu Zhao, Haoxiang Gao외 2명|arXiv (Cornell University)|2024. 04. 28.

BIM and Construction Integration인용 수 7

한 줄 요약

논문은 트랜스포머 기반 대형 언어 모델을 미세 조정하여 부동산 매매 계약에서 구조화된 정보를 추출하는 것을 연구하고, 계약 분석을 위한 전처리, 방법 및 향후 방향에 대해 논의한다.

ABSTRACT

Real estate sales contracts contain crucial information for property transactions, but manual data extraction can be time-consuming and error-prone. This paper explores the application of large language models, specifically transformer-based architectures, for automated information extraction from real estate contracts. We discuss challenges, techniques, and future directions in leveraging these models to improve efficiency and accuracy in real estate contract analysis. We generated synthetic contracts using the real-world transaction dataset, thereby fine-tuning the large-language model and achieving significant metrics improvements and qualitative improvements in information retrieval and reasoning tasks.

연구 동기 및 목표

• 법적 언어 모델(LLMs)을 활용해 부동산 거래 계약을 읽고 해석하도록 동기를 부여하여 변호사 소요 시간을 절약하고 이해관계자의 이해를 향상시키려 한다.
• 트랜스포머 기반 모델을 사용한 부동산 계약의 전처리, 미세 조정, 정보 추출 워크플로를 제안한다.
• 부동산 거래에서 위험 평가, 실사, 그리고 준수 보고에 대한 잠재적 이점을 강조한다.

제안 방법

• 계약서 텍스트에 대한 토큰화, 임베딩, 위치 인코딩을 포함한 데이터 전처리 단계를 설명한다.
• 이전 학습(전이 학습), 작업 특화 미세 조정, 다중 작업 학습 등을 포함한 LLM 미세 조정 전략을 설명한다.
• CRF와 같은 시퀀스 라벨링 모델 및 의미 파싱과 LLM을 결합한 정보 추출 접근법을 논의한다.
• 예측 정보 범주와 실제 정보 범주 간의 손실을 최소화하는 학습 목표의 형식을 제시한다.
• 계약 관련 질문에 답하기 위한 미세 조정된 LLM의 질의 능력을 개요한다.

실험 결과

연구 질문

• RQ1 미세 조정된 LLM이 계약의 예비 조항, 마감 기한, 재산 세부정보 등 부동산 계약의 주요 정보를 정확하게 추출할 수 있는가?
• RQ2 부동산 계약 분석에서 LLM 성능을 최적화하는 전처리 및 미세 조정 전략은 무엇인가?
• RQ3 부동산 거래에서 재산 용어와 계약 의무에 관한 다양한 질문에 LLM을 어떻게 활용할 수 있는가?

주요 결과

• 질적 평가에서 모델이 예시 계약 질문에 재산 주소 및 마감 기한과 같은 정보를 올바르게 답할 수 있음을 보였다.
• 모델이 시한성 기한 및 우발 조건과 같은 답을 식별할 수 있다.Contract 언어를 제시하면 의미