[논문 리뷰] Similar Cases Recommendation using Legal Knowledge Graphs

Jaspreet Singh Dhani, Ruchika Bhatt외 3명|arXiv (Cornell University)|2021. 07. 10.

Artificial Intelligence in Law참고 문헌 11인용 수 8

한 줄 요약

이 논문은 인도 지적재산권(IPR) 사건에서 유래한 법적 지식 그래프를 기반으로, 그래프 신경망(GNN) 기반의 유사 법적 사건 추천 방법을 제안한다. 주제 모델링과 명명된 실체 인식을 통해 추출한 도메인 특화 기능인 법점(lawpoints)을 활용하여 인용 및 사건 유사도 예측 성능을 햖थ, 관계형 그래프 컨volution 신경망(RGCN)을 사용해 인용 예측의 AUC는 0.620, 유사도 예측의 AUC는 0.556을 달성하였다.

ABSTRACT

A legal knowledge graph constructed from court cases, judgments, laws and other legal documents can enable a number of applications like question answering, document similarity, and search. While the use of knowledge graphs for distant supervision in NLP tasks is well researched, using knowledge graphs for applications like case similarity presents challenges. In this work, we describe our solution for predicting similar cases in Indian court judgements. We present our results and also discuss the impact of large language models on this task.

연구 동기 및 목표

• 인공지능 기반의 유사 사건 추천을 통해 법적 제도의 과부하를 완화하고 빠른 사건 처리를 가능하게 하기 위해.
• 구조화된 법적 지식을 활용해 사건 유사도, 인용 예측, 법적 인지 보조와 같은 법적 문서 분석 작업을 향상시키기 위해.
• 주제 모델링과 법점 애너테이션을 통해 도메인 인지 특징 표현을 개발하여 GNN 성능을 향상시키기 위해.
• 관계형 그래프 컨volution 신경망(RGCN)이 이질적인 법적 지식 그래프에서 사건 유사도 및 인용 링크를 예측하는 데 효과적인지 입증하기 위해.
• 법조직자 및 학생들이 설명 가능 인공지능을 통해 유사 사건을 탐색하고 법적 개념을 이해할 수 있도록 상호작용형 데모를 제공하기 위해.

제안 방법

• 규칙 기반 및 딥러닝 방법을 사용해 비정형 인도 IPR 사건 문서, 판결문 및 법률 자료에서 법적 지식 그래프를 구축하였다.
• IBM Data Discovery API 및 Stanza를 포함한 NLP 파이프라인을 통해 실체와 관계를 추출하였으며, 도메인 특화 실체를 위해 SystemT를 활용한 커스텀 애너테이션을 수행하였다.
• 핵심 주제를 식별하고 IPR 관련 개념을 위한 도메인 특화 온톨로지를 유도하기 위해 잠재적 디리히레트 분포(Latent Dirichlet Allocation, LDA)를 적용하였다.
• 법점(lawpoints)을 도메인 특화 关련 키워드 및 어구(예: '특허', '저작권', '상표')로 정의하고 의미적으로 레이블링하여 노드 특징을 풍부하게 하였다.
• 관련 노드 유형(예: 사건, 법률)과 관계(인용, 유사도)만을 사용해 사례 그래프를 구축하였으며, 법점과 메타데이터에서 파생된 특징을 사용하였다.
• Deep Graph Library를 사용해 사례 그래프에 관계형 그래프 컨볼루션 신경망(RGCN)을 훈련시켰으며, 법점과 메타데이터를 포함한 특징을 사용해 누락된 링크와 사건 유사도를 예측하였다.

실험 결과

연구 질문

• RQ1 도메인 특화 기능으로 풍부화된 법적 지식 그래프가 이질적인 그래프 환경에서 사건 유사도 예측 성능을 향상시키는가?
• RQ2 법점—의미적으로 레이블링된 IPR 관련 용어—를 관계형 GNN의 특징으로 사용할 경우 법적 사건 추천에 얼마나 효과적인가?
• RQ3 주제 모델링에서 유도된 개념을 통합함으로써 그래프 신경망의 법적 인용 및 유사도 예측 성능이 향상되는가?
• RQ4 해석 가능성 기능은 법조직자 및 학생들이 GNN 예측 결과를 이해하는 데 얼마나 기여하는가?
• RQ5 법적 사례 그래프 작업에서 도메인 특화 기능이 있는지 여부에 따라 RGCN 모델의 성능은 어떻게 달라지는가?

주요 결과

• 법점 특징의 포함으로 인해 인용 링크 예측 성능이 크게 향상되어 1200 에포크 동안 AUC 0.620을 달성하였다.
• 사건 유사도 예측의 경우, 법점 특징을 포함한 모델이 법점 없이 구축된 베이스라인 모델보다 우수한 성능을 보였다.
• 법점 특징이 없는 모델는 유사도 예측에서 성능이 열악했으며, 최대 AUC 0.513에 머물러 도메인 특화 기능이 없는 경우 예측 능력이 제한됨을 시사하였다.
• 법점 없이도 최고 성능을 보인 인용 모델은 AUC 0.587에 도달하여, 기본 특징조차도 링크 예측에 의미 있는 기여를 한다는 점을 시사하였다.
• 해석 가능성 시각화는 예측된 유사 사건 간의 핵심 특징과 메타데이터의 차이를 성공적으로 강조하여 해석 가능성에 기여하였다.
• 호스팅된 데모 시스템(http://case-similarity-demo.mybluemix.net/)은 유사 사건과 그 기반 특징을 상호작용적으로 탐색할 수 있도록 하였다.