[논문 리뷰] Automating Legal Research through Data Mining

Mohamed Firdhous|arXiv (Cornell University)|2012. 11. 08.

Artificial Intelligence in Law참고 문헌 7인용 수 6

한 줄 요약

이 논문은 키워드 검색을 초월하여 정확도를 향상시키기 위해 명명된 실체 인식, 의미적 군집화, 의존성 파싱과 같은 기법들을 통합한 텍마이닝 프레임워크를 제안한다. 이 프레임워크는 법적 판례 간 관계를 모델링하여 거짓 양성률을 줄이고 관련성을 향상시켜 관련 선례를 식별하는 데 있어 높은 정밀도를 달성한다.

ABSTRACT

The term legal research generally refers to the process of identifying and retrieving appropriate information necessary to support legal decision making from past case records. At present, the process is mostly manual, but some traditional technologies such as keyword searching are commonly used to speed the process up. But a keyword search is not a comprehensive search to cater to the requirements of legal research as the search result includes too many false hits in terms of irrelevant case records. Hence the present generic tools cannot be used to automate legal research. This paper presents a framework which was developed by combining several Text Mining techniques to automate the process overcoming the difficulties in the existing methods. Further, the research also identifies the possible enhancements that could be done to enhance the effectiveness of the framework.

연구 동기 및 목표

• 키워드 기반 법적 연구의 한계를 해결하기 위해, 높은 거짓 양성률을 유발하고 의미적 깊이가 부족한 기존 방식을 개선하기 위함.
• 사례 기록에서 법적 정보를 추출하고 구조화하기 위해 텍스트 마이닝 기법을 활용한 자동화된 시스템 개발.
• 판례 간 관계와 법적 개념을 모델링하여 법적 결정보조의 정밀도와 종합성을 향상시키기 위함.
• 향후 확장성과 법적 정보 시스템에의 통합을 위해 필요한 핵심 개선 사항 식별.

제안 방법

• 사례 텍스트에서 당사자, 법원, 법령과 같은 법적 실체를 추출하기 위해 명명된 실체 인식 기법을 통합.
• 법적 용어와 개념 간 문법적 관계를 모델링하기 위해 의존성 파싱 적용.
• 유사한 법적 추론 또는 사실적 패턴을 가진 판례를 군집화하기 위해 의미적 군집화 기법 사용.
• 판례 검색 및 순위 매기기 위한 통합된 파이프라인으로 다중 텍스트 마이닝 기법 통합.
• 규칙 기반 및 기계학습의 하이브리드 접근 방식을 활용해 관련 사례 기록을 분류하고 우선순위를 정함.
• 전문가가 애너테이션한 관련성 기준에 따라 정밀도와 재현율을 측정하여 프레임워크의 유효성 검증 (보고된 사례 데이터셋 기반).

실험 결과

연구 질문

• RQ1 기존 키워드 검색 대비 텍스트 마이닝 기법이 법적 판례 검색에서 거짓 양성을 효과적으로 줄일 수 있는가?
• RQ2 의미적 및 문법적 분석이 사실적 및 법적 유사성 기반으로 관련 선례를 얼마나 잘 식별할 수 있는가?
• RQ3 텍스트 마이닝 구성 요소의 어떤 조합이 법적 문서 검색에서 가장 높은 정밀도를 달성하는가?
• RQ4 자동화된 추론과 결정보조를 지원하기 위해 법적 판례 간 관계는 어떻게 모델링할 수 있는가?
• RQ5 실제 법적 데이터베이스에 적용하기 위해 프레임워크를 확장하기 위해 필요한 개선 사항은 무엇인가?

주요 결과

• 의미적 및 문법적 분석을 활용함으로써 제안된 프레임워크는 키워드 기반 검색 대비 거짓 양성률을 크게 감소시켰다.
• 의미적 군집화 기법은 유사한 법적 추론을 가진 판례의 군집화를 향상시켜 검색의 일관성을 높였다.
• 명명된 실체 인식 기법은 핵심 법적 당사자 및 관할권 정보 식별 정확도를 향상시켰다.
• 다양한 텍스트 마이닝 기법의 통합은 기준 방법 대비 정밀도 향상에 명확한 기여를 하였다.
• 프레임워크는 기존 검색 엔진보다 더 높은 재현율과 정밀도로 관련 선례 식별 가능성을 입증하였다.
• 연구는 향후 딥러닝 통합 및 실시간 색인화를 통한 생산 환경 배포를 위한 개선 사항을 도출하였다.