[论文解读] Utilizing Large Language Models for Information Extraction from Real Estate Transactions

Yu Zhao, Haoxiang Gao+2 more|arXiv (Cornell University)|Apr 28, 2024

BIM and Construction Integration被引用 7

一句话总结

本文研究对 transformer-based large language models 进行微调，以从房地产销售合同中提取结构化信息，并讨论合同分析的预处理、方法和未来方向。

ABSTRACT

Real estate sales contracts contain crucial information for property transactions, but manual data extraction can be time-consuming and error-prone. This paper explores the application of large language models, specifically transformer-based architectures, for automated information extraction from real estate contracts. We discuss challenges, techniques, and future directions in leveraging these models to improve efficiency and accuracy in real estate contract analysis. We generated synthetic contracts using the real-world transaction dataset, thereby fine-tuning the large-language model and achieving significant metrics improvements and qualitative improvements in information retrieval and reasoning tasks.

研究动机与目标

• 推动使用 Legal Language Models (LLMs) 来阅读和解读房地产交易合同，以节省律师时间并提升相关方的理解。
• 提出一种使用 transformer-based 模型对房地产合同进行预处理、微调和信息提取的工作流程。
• 强调在房地产交易中的风险评估、尽职调查和合规报告方面的潜在收益。

提出的方法

• 描述合同文本的数据预处理步骤，包括分词、嵌入和位置编码。
• 解释 LLM 的微调策略，包括迁移学习、面向任务的微调和多任务学习。
• 讨论将 LLMs 与序列标注模型（如 CRFs）和语义解析相结合的信息提取方法。
• 给出学习目标的形式化表述，将预测信息类别与真实信息类别之间的损失最小化。
• 概述对微调后的 LLMs 的查询能力，以回答与合同相关的问题。

实验结果

研究问题

• RQ1 对房地产合同中的关键钥信息，如或有条款、交割截止日期和物业细节，是否可以通过微调的 LLM 实现准确提取？
• RQ2 哪些预处理和微调策略可以优化 LLM 在房地产合同分析中的表现？
• RQ3 如何利用 LLMs 来回答关于房地产交易中的物业条款和合同义务的各种问题？

主要发现

• 定性评估表明该模型能够正确回答合同样例问题，如物业地址和交割截止日期。
• 在合同语言提示下，该模型能够识别诸如时间敏感的截止日期和或有条款等答案。
• 研究讨论了但未报告大规模定量结果，并强调在更大的数据集上进行未来测试。