[논문 리뷰] CAPTAIN at COLIEE 2023: Efficient Methods for Legal Information Retrieval and Entailment Tasks

Chau Nguyen, Phuong Tuyet Nguyen외 6명|arXiv (Cornell University)|2024. 01. 07.

Artificial Intelligence in Law인용 수 6

한 줄 요약

CAPTAIN은 COLIEE 2023 Tasks 2–4를 위해 hard negative mining 및 앙상블과 함께 MonoT5 기반 미세 조정은 제시하며, Task 2에서 최상위 결과를 달성하고 Task 3 및 Task 4에서 강한 성능을 보였습니다.

ABSTRACT

The Competition on Legal Information Extraction/Entailment (COLIEE) is held annually to encourage advancements in the automatic processing of legal texts. Processing legal documents is challenging due to the intricate structure and meaning of legal language. In this paper, we outline our strategies for tackling Task 2, Task 3, and Task 4 in the COLIEE 2023 competition. Our approach involved utilizing appropriate state-of-the-art deep learning methods, designing methods based on domain characteristics observation, and applying meticulous engineering practices and methodologies to the competition. As a result, our performance in these tasks has been outstanding, with first places in Task 2 and Task 3, and promising results in Task 4. Our source code is available at https://github.com/Nguyen2015/CAPTAIN-COLIEE2023/tree/coliee2023.

연구 동기 및 목표

• COLIEE 2023 데이터(판례 및 법령)에 대한 법적 정보 검색 및 entailment 도전 과제에 대응합니다.
• 도메인 특화 미세 조정 및 모델 앙상블을 활용하여 Tasks 2–4의 성능을 향상시키는 견고한 방법을 개발합니다.
• 제한된 주석 데이터와 큰 후보 세트를 처리하기 위한 엔지니어링 혁신(데이터 샘플링, 체크포인트 앙상블링, 예측 전략)을 제공합니다.

제안 방법

• Hard negative mining을 사용하여 MonoT5-large를 미세 조정하여 도전적인 학습 인스턴스를 생성합니다.
• 그리드 탐색 가중치를 사용하여 여러 미세 조정 체크포인트를 앙상블하여 순위 매김 성능을 높입니다.
• MonoT5 출력물을 후보 단락의 관련성 점수로 변환하기 위해 포인트-와이즈 입력 템플릿을 사용합니다.
• Task 3(민법)에서 범주 다양성에 대응하기 위해 데이터 증강 및 서브 모델 앙상블을 적용합니다.
• Task 4의 경우 온라인 데이터 증가, 조건문 추출, SVM 앙상블을 구현하여 법적 entailment를 결정합니다.

Figure 1. Our approach for Task 2

실험 결과

연구 질문

• RQ1 사전 학습된 시퀀스-투-시퀀스 모델(MonoT5)이 제한된 라벨 데이터로 법적 사례 entailment에 효과적으로 미세 조정될 수 있는 방법은 무엇인가요?
• RQ2 다중 모델 체크포인트를 활용하여 순위 안정성과 정확도를 개선하기 위한 앙상블 및 샘플링 전략은 무엇인가요?
• RQ3 주석 데이터가 부족할 때 법적 범주를 포착하는 서브 모델 앙상블이 법령-법률 검색을 개선할 수 있나요?
• RQ4 증강 및 조건문 추출 기술이 법적 텍스트 entailment 작업의 성능을 향상시키나요?
• RQ5 데이터 증가 및 앙상블 방법의 어떤 조합이 COLIEE Task 4 entailment 시나리오 전반에서 견고한 성능을 제공하나요?

주요 결과

방법	검증 F1
BM25 baseline	61.47
MonoT5-large (zero-shot)	68.62
MonoT5-3B (zero-shot)	68.31
BERT-large (MS MARCO re-ranker)	53.21
FT MonoT5-large with random negatives (mt5l-e2)	75.23
FT MonoT5-large with hard negatives (mt5l-ed)	79.29
Ensemble of top 5 checkpoints (mt5l-ed4)	80.18

• 미세 조정된 MonoT5-large가 hard negative mining으로 Task 2의 검증 F1에서 최첨단을 달성했고 기준선보다 우수한 성능을 보였습니다.
• 상위 체크포인트를 하이퍼파라미터 검색과 함께 앙상블하는 것이 Task 2의 최상의 검증 성능을 제공했으며, 테스트 데이터에서 단일 미세 조정 모델이 때때로 앙상블보다 더 우수한 경우도 있어 과적합에 의한 결과일 수 있습니다.
• Task 3 결과는 monoT5와 일본어 BERT 및 데이터 필터링 전략의 결합이 개발 세트에서 매크로 F2를 향상시키는 것을 보여주었고, 앙상블 변형들이 R03에서 강한 성과를 달성했습니다.
• Task 4의 온라인 데이터 증가, 조건문 추출, SVM 앙상블은 YES/NO entailment 결정에 보완적 강점을 보여 전반적으로 질문에 대한 강건성을 향상시켰습니다.
• 실험 전체에서 CAPTAIN 방법은 Task 2에서 여러 베이스라인(BM25, 제로샷 MonoT5, BERT 기반 재랭커)을 지속적으로 능가했으며 Task 3 및 Task 4에서 경쟁력 있는 증가를 보였습니다.
• 소스 코드는 재현성을 위해 제공된 GitHub 저장소에서 공개됩니다.

Figure 2. Our approach for Task 3