[논문 리뷰] A Benchmark for Lease Contract Review

Spyretta Leivaditi, Julien Rossi외 1명|arXiv (Cornell University)|2020. 10. 20.

Artificial Intelligence in Law참고 문헌 24인용 수 27

한 줄 요약

이 논문은 법적 정보 추출을 위한 새로운 벤치마크 데이터셋을 소개하며, 179건의 수작업으로 주석 처리된 임대차 계약서를 포함한다. 이 데이터셋은 계약 검토에 핵심적인 요소인 실체(entity)와 레드 플래그(위험 신호)를 정의한다. 또한 임대차 전용 데이터로 미세튜닝된 언어 모델인 ALeaseBERT를 제안하며, 레드 플래그 탐지( MAP: 0.5733)와 실체 인식(F1: 0.54)에 강력한 베이스라인을 수립하여 향후 자동화된 임대차 계약 분석 연구를 가능하게 한다.

ABSTRACT

Extracting entities and other useful information from legal contracts is an important task whose automation can help legal professionals perform contract reviews more efficiently and reduce relevant risks. In this paper, we tackle the problem of detecting two different types of elements that play an important role in a contract review, namely entities and red flags. The latter are terms or sentences that indicate that there is some danger or other potentially problematic situation for one or more of the signing parties. We focus on supporting the review of lease agreements, a contract type that has received little attention in the legal information extraction literature, and we define the types of entities and red flags needed for that task. We release a new benchmark dataset of 179 lease agreement documents that we have manually annotated with the entities and red flags they contain, and which can be used to train and test relevant extraction algorithms. Finally, we release a new language model, called ALeaseBERT, pre-trained on this dataset and fine-tuned for the detection of the aforementioned elements, providing a baseline for further research

연구 동기 및 목표

• 임대차 계약서의 자동 검토를 위한 레이블이 부여된 데이터와 전용 시스템의 부족을 해결하기 위해.
• 임대차 계약 검토에서 핵심적인 두 가지 요소인 명명된 실체(예: 당사자, 날짜, 금액)와 레드 플래그(예: 조기 해지 조항)를 정의하고 체계화하기 위해.
• 정보 추출 모델의 훈련 및 평가를 위해 179건의 수작업 주석 처리된 임대차 계약서로 구성된 새로운 공개 벤치마크 데이터셋을 구축하기 위해.
• 임대차 전용 언어 모델인 ALeaseBERT를 개발 및 공개하여 실체 및 레드 플래그 탐지에 최적화된 모델을 제공하기 위해.
• 향후 법적 NLP 연구, 특히 임대차 계약 자동화 분야의 강력한 기초 성능 기준을 확립하기 위해.

제안 방법

• 전문가 수작업 주석 처리를 통해 179건의 임대차 계약서를 11종류의 실체 유형(예: 임대인, 수임자, 임대 시작/종료 일자, 임대료 금액)과 10종류의 레드 플래그 유형(예: 조기 해지, 일방적 변경)으로 주석 처리한다.
• 전체 179건의 임대차 계약서 코퍼스를 기반으로 도메인 특화 BERT 기반 모델( ALeaseBERT)을 사전 훈련하여 법적 용어와 문장 구조에 특화된 언어 표현을 학습한다.
• 두 가지 후행 작업을 위해 ALeaseBERT를 미세튜닝한다: 시퀀스 레이블링(실체 탐지용), 문장 수준 분류(레드 플래그 탐지용).
• 명명된 실체 인식의 기준 모델로 CRF 모델을 사용하고, 레드 플래그 순위 매기기의 기준 모델로 TF-IDF + 랜덤 포레스트 모델을 사용한다.
• 표준 NLP 평가 지표를 사용하여 모델 성능을 평가한다: F1, 정밀도, 재현율, MAP, 순위 매기기 작업에 대해 IP@R=0.8.
• 일반 도메인 BERT에서부터 시작, 도메인 특화 코퍼스에서 사전 훈련된 모델, 추가로 임대차 데이터로 사전 훈련된 모델을 비교하는 분석 실험을 통해 도메인 적응의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 자동화된 임대차 계약 검토에 가장 관련성이 높은 핵심 실체 및 레드 플래그 유형은 무엇인가?
• RQ2 도메인 적응된 언어 모델인 ALeaseBERT는 일반 목적 모델에 비해 임대차 계약서 내 실체와 레드 플래그 탐지에 얼마나 효과적인가?
• RQ3 미세튜닝된 언어 모델은 기존 기계 학습 기반 기준 모델(TF-IDF + 랜덤 포레스트)보다 레드 플래그 탐지에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 도메인 특화 코퍼스에서 사전 훈련하는 것이 임대차 계약 정보 추출 성능 향상에 얼마나 기여하는가?
• RQ5 실체 및 레드 플래그 탐지에서 주로 발생하는 실패 유형은 무엇이며, 향후 연구에서 이를 어떻게 개선할 수 있는가?

주요 결과

• ALeaseBERT 모델은 레드 플래그 탐지에서 MAP 점수 0.5733을 기록하여 TF-IDF + 랜덤 포레스트 기준 모델(0.4992)과 일반 도메인 ALBERT base 모델(0.5227)보다 유의미하게 높은 성능을 보였다.
• 재현율 0.8일 때 정밀도(IP@R=0.8)는 0.3579로, 이는 사용자가 80%의 레드 플래그를 확보하기 위해 약 3배 더 많은 항목을 검토해야 한다는 것을 의미하며, 고재현율 상황에서의 향상 여지를 시사한다.
• 실체 탐지에서는 ALeaseBERT가 F1 점수 0.54(가중 평균)를 기록하여 CRF 기준 모델(F1: 0.43)을 능가했지만, '임대 만료 일자' 실체는 샘플 수가 적어 낮은 성능을 보였다.
• 연구 결과, 단순히 임대차 코퍼스에서의 사전 훈련만으로는 부족하며, 추가로 도메인 특화 코퍼스에서 사전 훈련하는 것이 레드 플래그 탐지 성능 향상에 크게 기여함을 확인하여, 미세튜닝이 도메인 적응에 필수적임을 입증했다.
• 실체 및 레드 플래그 탐지 작업은 여전히 도전 과제이며, 특히 희귀 실체 유형과 복잡한 레드 플래그 패tern에 대해 현재 모델들이 표면적 언어적 신호를 초월한 깊은 의미 이해를 하지 못하고 있음을 시사한다.
• 저자들은 향후 연구 기회로 실체 인식 신호를 활용한 레드 플래그 탐지 향상 및 자원이 부족한 실체 유형에 대해 소수 샘플 또는 제로 샘플 학습 기법을 적용할 수 있음을 제안한다.