[논문 리뷰] IITP in COLIEE@ICAIL 2019: Legal Information Retrieval using BM25 and BERT

Baban Gain, Dibyanayan Bandyopadhyay외 2명|arXiv (Cornell University)|2019. 01. 01.

Topic Modeling참고 문헌 6인용 수 9

한 줄 요약

이 논문은 COLIEE 2019 공동 과제에서 법적 정보 검색 및 함의 탐지 작업을 위한 하이브리드 접근법을 제안한다. BM25, tf-idf, BERT를 조합한 방식으로, BERT 임베딩을 XGBoost로 미세조정하여 이분법적 함의 분류 작업(Task 4)에서 59.18%의 정확도를 달성하였으며, 법적 케이스 검색, 함의 탐지, 법령에 기반한 질문-답변 작업의 네 가지 하위 과제에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Natural Language Processing (NLP) and Information Retrieval (IR) in the judicial domain is an essential task. With the advent of availability domain-specific data in electronic form and aid of different Artificial intelligence (AI) technologies, automated language processing becomes more comfortable, and hence it becomes feasible for researchers and developers to provide various automated tools to the legal community to reduce human burden. The Competition on Legal Information Extraction/Entailment (COLIEE-2019) run in association with the International Conference on Artificial Intelligence and Law (ICAIL)-2019 has come up with few challenging tasks. The shared defined four sub-tasks (i.e. Task1, Task2, Task3 and Task4), which will be able to provide few automated systems to the judicial system. The paper presents our working note on the experiments carried out as a part of our participation in all the sub-tasks defined in this shared task. We make use of different Information Retrieval(IR) and deep learning based approaches to tackle these problems. We obtain encouraging results in all these four sub-tasks.

연구 동기 및 목표

• 법적 정보 검색 및 함의 탐지 자동화에 도전하기 위해 자연어 처리와 인공지능을 활용한 사법 결정 지원 시스템을 개발한다.
• COLIEE 2019 공동 과제의 네 가지 별도의 하위 과제인 케이스 검색, 케이스 함의 탐지, 법령 기반 질문-답변에 대한 검색 및 분류 시스템을 개발하고 평가한다.
• 전통적인 정보 검색 기법(BM25, tf-idf, Doc2Vec)과 딥러닝 모델(BERT)을 법적 텍스트 이해 과제에서 비교한다.
• 법적 추론을 위한 관련 판례와 법령 조항을 보다 효율적이고 정확하게 식별하는 데 기여한다.

제안 방법

• 질의-케이스 유사도 기반으로 밀도 높은 관련 법적 케이스를 검색하기 위해 BM25를 활용하여 어간 빈도 및 역문서 빈도 가중치를 적용한다.
• scikit-learn의 TfidfVectorizer를 사용하여 tf-idf 벡터화를 수행하고, 검색 과제의 유사도 점수를 계산한다.
• 전체 법적 문서의 밀도 높은 벡터 표현을 생성하기 위해 Doc2Vec을 사용하여 의미적 유사도 계산을 가능하게 한다.
• Task 4에서 문장 쌍 분류를 위해 BERT-Base-Uncased를 미세조정하고, 입력 특징으로 [CLS] 토큰 임베딩을 추출한다.
• BERT 임베딩을 XGBoost와 조합하여 Task 4의 함의 관계(YES/NO)에 대한 이분법적 분류를 수행하였으며, 고차원 입력으로 인한 과적합을 완화하였다.
• 특히 Task 1과 Task 3에서 재현율 향상을 위해 수정된 BM25 및 tf-idf 모델에서 각각 최상위 100개 문서를 검색하였다.

실험 결과

연구 질문

• RQ1 BM25 및 tf-idf와 같은 전통적인 정보 검색 기법이 사법 결정 지원을 위한 관련 법적 케이스 검색에 얼마나 효과적인가?
• RQ2 BERT 기반 모델이 법적 함의 탐지 및 질문-답변 과제에서 고전적 정보 검색 기법을 능가할 수 있는가?
• RQ3 BERT 임베딩을 기반으로 기울기 부스팅 분류기와 조합할 경우 법적 텍스트 분류 성능에 얼마나 기여하는가?
• RQ4 다양한 검색 전략(예: 상위-k 필터링)이 법적 정보 검색에서 정밀도와 재현율에 어떤 영향을 미치는가?

주요 결과

• iitpBM25-L 모델은 Task 3에서 평균 정밀도(MAP) 0.5409를 기록하여 다른 모델들보다 법령 질문-답변 과제에서 뛰어난 성능을 보였다.
• iitpbert 모델은 Task 4의 함의 분류 벤치마크에서 59.18%의 정확도를 달성하여, BERT와 XGBoost를 조합한 법적 NLP에 효과적임을 입증하였다.
• BM25 기반 모델은 Task 1과 Task 2에서 모두 Doc2Vec 및 tf-idf를 능가하였으며, iitpBM25는 Task 2에서 F-measure 0.6966을 기록하였다.
• 수정된 BM25 및 tf-idf 모델(iitpBM25-L 및 iitptfidf-L)은 각각 121개 중 109개, 108개의 정확한 기사들을 검색하여 재현율을 크게 향상시켰다.
• 고차원 BERT 임베딩(768차원)에도 불구하고, XGBoost의 일반화 성능이 밀도 높은 층을 사용한 엔드 투 엔드 미세조정보다 뛰어나 검증 정확도가 높았다.