[論文レビュー] Utilizing Large Language Models for Information Extraction from Real Estate Transactions

Yu Zhao, Haoxiang Gao+2 more|arXiv (Cornell University)|Apr 28, 2024

BIM and Construction Integration被引用数 7

ひとこと要約

本論文は、不動産売買契約書から構造化された情報を抽出するために、トランスフォーマーベースの大規模言語モデルの微調整を検討し、契約分析の前処理、方法、今後の方向性について論じている。

ABSTRACT

Real estate sales contracts contain crucial information for property transactions, but manual data extraction can be time-consuming and error-prone. This paper explores the application of large language models, specifically transformer-based architectures, for automated information extraction from real estate contracts. We discuss challenges, techniques, and future directions in leveraging these models to improve efficiency and accuracy in real estate contract analysis. We generated synthetic contracts using the real-world transaction dataset, thereby fine-tuning the large-language model and achieving significant metrics improvements and qualitative improvements in information retrieval and reasoning tasks.

研究の動機と目的

• 不動産取引契約を読み解くために法的言語モデル（LLMs）の活用を促進し、弁護士の作業時間を削減し、利害関係者の理解を高める。
• トランスフォーマーベースのモデルを用いた不動産契約の前処理、微調整、情報抽出のワークフローを提案する。
• 不動産取引におけるリスク評価、デューデリジェンス、法令順守レポーティングの潜在的な利点を強調する。

提案手法

• 契約テキストのトークン化、埋め込み、位置エンコーディングを含むデータ前処理の手順を説明する。
• 転移学習、タスク特化の微調整、マルチタスク学習を含む LLM の微調整戦略を説明する。
• LLM を CRF などのシーケンスラベリングモデルや意味解析と組み合わせた情報抽出アプローチを検討する。
• 予測情報カテゴリーと真の情報カテゴリー間の損失を最小化する学習目的の形式化を提示する。
• 契約関連の質問に答えるための微調整済み LLM の問合せ能力を概説する。

実験結果

リサーチクエスチョン

• RQ1 微調整した LLM は、付帯条件、締結期限、物件の詳細など、不動産契約から主要情報を正確に抽出できるか。
• RQ2 不動産契約分析における LLM の性能を最適化する前処理と微調整戦略は何か。
• RQ3 不動産取引における物件条件や契約義務に関する多様な質問に対して、LLMs はどう活用できるか。

主な発見

• 質的評価により、物件の所在地や締結期限などのサンプル契約質問にモデルが正しく回答できることが示された。
• 契約文言が提示された場合、期限などの時限性のある締切や付帯条件の条項などの回答を識別できる。
• 本研究は大規模な定量的結果を議論するが報告せず、より大きなデータセットでの今後の検証を強調している。