[논문 리뷰] Threshold-Based Retrieval and Textual Entailment Detection on Legal Bar Exam Questions

Sabine Wehnert, Sayed Anisul Hoque외 2명|arXiv (Cornell University)|2019. 05. 30.

Artificial Intelligence in Law인용 수 8

한 줄 요약

이 논문은 영어로 번역된 독일 및 일본 민법의 단어 임베딩을 기반으로 한 BM25와 워드 센트로이드 거리의 조합을 사용하는 임계값 기반의 법적 문서 검색 시스템과, 주로 일본 변호사 시험 문제에 대한 텍스트 함의 탐지에 사용되는 어텐션 기반 스택드 인코더 모델을 제시한다. COLIEE 2019 함의 태스크에서 57.14%의 정확도를 기록하여 베이스라인을 능가하며, 불균형 데이터를 가진 법적 NLP 작업에서 임계값 설정과 앙상블 모델링이 성능 향상에 기여한다는 것을 입증한다.

ABSTRACT

Getting an overview over the legal domain has become challenging, especially in a broad, international context. Legal question answering systems have the potential to alleviate this task by automatically retrieving relevant legal texts for a specific statement and checking whether the meaning of the statement can be inferred from the found documents. We investigate a combination of the BM25 scoring method of Elasticsearch with word embeddings trained on English translations of the German and Japanese civil law. For this, we define criteria which select a dynamic number of relevant documents according to threshold scores. Exploiting two deep learning classifiers and their respective prediction bias with a threshold-based answer inclusion criterion has shown to be beneficial for the textual entailment task, when compared to the baseline.

연구 동기 및 목표

• 하이브리드 검색 및 딥러닝을 활용하여 변호사 시험 유형의 질문에 대한 법적 문서 검색 및 텍스트 함의 탐지 성능을 향상시키기.
• 국제적 법적 관할권 간의 법적 텍스트 복잡성과 암묵적인 의존성 문제 해결.
• 법적 전문가에 대한 의존도를 줄이고, 관련 법조항과 함의 관계를 자동으로 식별하기.
• 임계값 기반의 관련성 점수와 어텐션 메커니즘을 통해 모델의 해석 가능성과 성능 향상.
• 저자원 법적 NLP 환경에서 앙상블 모델링과 도메인 적응형 임베딩의 효과성 입증.

제안 방법

• 독일 및 일본 민법의 영어 번역본을 기반으로 훈련된 단어 임베딩을 사용하여 BM25 점수와 워드 센트로이드 거리를 조합.
• 유사도 점수에 기반해 변동 가능한 상위 문서 수를 선택하기 위해 동적 임계값 설정 적용.
• 텍스트 함의 분류를 위해 잔차 연결과 어텐션 메커니즘을 포함한 스택드 인코더 아키텍처 활용.
• 예측 결과가 부정 클래스 쪽으로 편향된 두 개의 딥러닝 분류기를 사용하고 앙상블 투표 방식으로 통합.
• 예측 결과를 필터링하기 위해 임계값 기반의 답변 포함 방식 적용하여 함의 탐지의 정밀도 향상.
• 어텐션 맵을 시각화하여 모델 결정을 해석하고, 품사어 또는 고유어와 같은 OOV(Out-of-Vocabulary) 용어와 관련된 실패 케이스를 파악.

실험 결과

연구 질문

• RQ1 어휘적(예: BM25)과 의미적(예: 단어 임베딩) 검색 방법을 조합하면 법적 문서 검색 성능이 향상되는가?
• RQ2 검색된 문서에 대한 임계값 기반 선택 방식이 법적 정보 검색에서 검색 품질에 어떤 영향을 미치는가?
• RQ3 어떤 기준에 비해 어텐션 기반 스택드 인코더 모델이 법적 변호사 시험 문제에 대한 텍스트 함의 탐지 성능을 향상시키는가?
• RQ4 모델이 부정 클래스 쪽으로 편향된 예측을 할 경우 그 영향은 어느 정도이며, 이를 어떻게 완화할 수 있는가?
• RQ5 어텐션 메커니즘이 모델의 추론 과정을 어떻게 드러내며, 희귀어나 도메인 전용 용어를 포함한 실패 케이스에 대해 어떤 통찰을 제공하는가?

주요 결과

• BM25와 워드 센트로이드 거리를 조합한 임계값 기반 검색 방법이 일부 베이스라인 보다 우수한 성능을 보였지만, 임베딩 훈련에 더 큰 법적 코퍼스가 사용될 경우 성능 향상이 기대된다.
• 스택드 인코더 모델은 COLIEE 2019 함의 테스트 세트에서 57.14%의 정확도를 기록하여 항상 '아니요'라고 예측하는 베이스라인 모델(52.04% 정확도)을 능가했다.
• 두 딥러닝 분류기 모두 '함의 없음'을 예측하는 데 편향되어 있었지만, 서로 다른 인스턴스에서 상보적인 예측 패턴을 보였다.
• 어텐션 시각화 결과, 모델이 의미적으로 관련 있는 쿼리-문서 스트링(예: 'no successor of the primary obligor may' 및 'may make a claim for the extinction')에 정확히 초점을 맞추고 있음을 확인했다.
• 틀린 예측는 종종 GloVe 임베딩이 도메인 전용 용어를 포괄하지 못하는 OOV 용어(예: 'pre-contract')와 관련이 있었다.
• 이 연구는 더 큰 도메인 특화 법적 코퍼스를 기반으로 단어 임베딩을 훈련할 경우 모델 성능 향상에 상당한 기여가 가능할 것으로 제안한다.