[논문 리뷰] Computer-Assisted Creation of Boolean Search Rules for Text Classification in the Legal Domain

Hannes Westermann, Jaromír Šavelka외 3명|arXiv (Cornell University)|2021. 12. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 법적 도메인 전문가가 단어 동시출현 통계와 상호작용 피드백을 활용하여 반복적으로 설명 가능한 부울 검색 규칙을 생성할 수 있도록 돕는 컴퓨터 지원 시스템 CASE를 제시한다. 이 방법은 기계학습 모델과 비슷한 성능을 달성하면서도 해석 가능성, 간결성, 제어 가능성 측면에서 뛰어나며, 특히 높은 법적 관련성과 함께 작은 데이터셋에서 유리하다.

ABSTRACT

In this paper, we present a method of building strong, explainable classifiers in the form of Boolean search rules. We developed an interactive environment called CASE (Computer Assisted Semantic Exploration) which exploits word co-occurrence to guide human annotators in selection of relevant search terms. The system seamlessly facilitates iterative evaluation and improvement of the classification rules. The process enables the human annotators to leverage the benefits of statistical information while incorporating their expert intuition into the creation of such rules. We evaluate classifiers created with our CASE system on 4 datasets, and compare the results to machine learning methods, including SKOPE rules, Random forest, Support Vector Machine, and fastText classifiers. The results drive the discussion on trade-offs between superior compactness, simplicity, and intuitiveness of the Boolean search rules versus the better performance of state-of-the-art machine learning models for text classification.

연구 동기 및 목표

• 제한된 애너테이션 데이터가 있는 법적 도메인에서 정확하고 해석 가능한 텍스트 분류기를 만드는 데 도전하는 것.
• 법적 의사결정 환경에서 투명성이 결여된 복잡한 블랙박스 기계학습 모델에 대한 의존도를 줄이는 것.
• 도메인 전문 지식을 규칙 생성에 통합하면서도 통계적 지침의 이점을 얻을 수 있도록 법적 전문가를 지원하는 것.
• 실시간 평가를 지원하는 반복적이고 상호작용적인 부울 검색 규칙 개선을 지원하는 시스템을 개발하는 것.
• 인간이 참여하는 부울 규칙이 최첨단 기계학습 모델과 경쟁 가능한 성능을 달성하면서도 더 높은 해석 가능성 제공가능성을 평가하는 것.

제안 방법

• CASE 시스템은 애너테이터가 부울 검색 규칙에 적합한 용어를 선택하는 데 도움이 되는 단어 동시출현 통계를 사용한다.
• 규칙 구축 과정에서 실시간 정밀도 및 재현율 피드백을 제공하여 반복적 개선을 가능하게 한다.
• 사용자는 전문가의 직관과 통계적 통찰에 기반해 논리 연산자(AND, OR, NOT)를 사용하여 규칙을 구축한다.
• 시스템은 데이터셋 내 용어의 관련성과 의미적 관계를 탐색할 수 있는 상호작용 기능을 제공한다.
• 규칙는 지속적으로 평가되어 사용자가 즉각적인 성능 피드백에 기반해 개선할 수 있도록 한다.
• 사용자 도메인 전문 지식과 계산적 보조 기능을 통합하여 규칙의 품질과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 컴퓨터 지원 시스템이 애너테이션 데이터가 극히 적은 상황에서 법적 전문가가 높은 정밀도의 부울 검색 규칙을 만들 수 있도록 도울 수 있는가?
• RQ2 CASE로 생성된 전문가 기반 부울 규칙의 성능은 최첨단 기계학습 모델과 어떻게 비교되는가?
• RQ3 CASE를 통해 생성된 부울 규칙은 블랙박스 기계학습 모델에 비해 얼마나 더 뛰어난 해석 가능성과 이해 가능성 제공가능한가?
• RQ4 통계적 동시출현 데이터의 통합이 수작업으로 만든 법적 검색 규칙의 품질과 관련성 향상에 기여하는가?
• RQ5 컴putational 피드백에 안내된 인간의 직관은 더 일반화 가능하고 법적으로 의미 있는 분류 규칙을 어떻게 도출하는가?

주요 결과

• CASE를 통해 생성된 부울 검색 규칙은 네 개의 법적 텍스트 분류 데이터셋에서 랜덤 포레스트, SVM, fastText와 같은 기계학습 모델과 비교해 성능이 크게 열등하지 않았다.
• 특히 'prohibit'(금지)와 'definition'(정의)와 같은 핵심 법적 용어에서 CASE 규칙이 더 높은 정밀도와 재현율을 보이며 더 강한 법적 관련성을 나타냈다.
• 복잡한 기계학습 모델에 비해 규칙이 훨씬 간결하고 설명하기 쉬워 법적 전문가에게 더 뛰어난 해석 가능성을 제공했다.
• 시스템은 규칙 개발 과정에서 분류 오류를 탐지할 수 있었으며, 예를 들어 무역비밀 데이터셋에서 잘못 레이블링된 용어를 발견할 수 있었다.
• 사용자는 규칙 구축 전반에서 완전한 제어권을 확보하여 법적으로 의미 있는 용어를 우선순위로 삼고 데이터셋 고유의 노이즈에 과적합되는 것을 방지할 수 있었다.
• 결과적으로 인간이 참여하는 부울 규칙이 낮은 데이터, 높은 해석 가능성 요구 사례에서 기계학습 모델의 실질적인 대안이 될 수 있음을 시사한다.