[논문 리뷰] Fine-grained Intent Classification in the Legal Domain

Ankan Mullick, Abhilash Nandy외 3명|arXiv (Cornell University)|2022. 05. 06.

Artificial Intelligence in Law인용 수 5

한 줄 요약

이 논문은 법적 문서를 위한 새로운 세분화된 의도 분류 데이터셋을 소개하며, 굵은(4개 카테고리: 살인, 강도, 토지 분쟁, 부패) 및 세분화된 하위의도를 함께 표기한 데이터셋을 제시하고, 변환기 기반 모델이 문서 및 의도 분류 작업에서 성능을 평가한다. 굵은 수준 작업에서는 뛰어난 성능을 보였지만, 세분화된 의도 분류 작업에서는 상당한 어려움을 겪으며, 이는 데이터셋이 법적 NLP 분야에서 도전적이고 가치 있는 벤치마크로서의 잠재력을 드러낸다.

ABSTRACT

A law practitioner has to go through a lot of long legal case proceedings. To understand the motivation behind the actions of different parties/individuals in a legal case, it is essential that the parts of the document that express an intent corresponding to the case be clearly understood. In this paper, we introduce a dataset of 93 legal documents, belonging to the case categories of either Murder, Land Dispute, Robbery, or Corruption, where phrases expressing intent same as the category of the document are annotated. Also, we annotate fine-grained intents for each such phrase to enable a deeper understanding of the case for a reader. Finally, we analyze the performance of several transformer-based models in automating the process of extracting intent phrases (both at a coarse and a fine-grained level), and classifying a document into one of the possible 4 categories, and observe that, our dataset is challenging, especially in the case of fine-grained intent classification.

연구 동기 및 목표

• 법적 문서에서 세분화된 의도 분류를 위한 표기된 데이터셋의 부족을 해결하기 위해, 특히 사례 절차 내 잠재된 의도를 이해하는 데 기여하고자 한다.
• 구문 수준 및 하위의도 수준의 표기를 통해 더 깊은 분석이 가능한 법적 문서 이해를 향상시키고자 한다.
• 최신 변환기 모델이 법적 도메인에서 문서 수준 및 세분화된 의도 분류 작업에 대해 어떤 성능을 보이는지 평가하고자 한다.
• 세부적인 법적 의도를 포괄하는 벤치마크 데이터셋을 구축하여 향후 법적 NLP 및 자동 사례 요약 연구를 지원하고자 한다.

제안 방법

• CommonLII를 통해 Selenium을 사용하여 살인, 강도, 토지 분쟁, 부패의 4개 사례 카테고리에서 93건의 법적 문서 데이터셋을 수집하였다.
• 두 명의 평가자가 문서 카테고리와 일치하는 의도를 표현하는 문장을 필터링하였고, 이후 두 명의 다른 평가자가 이름, 날짜 등의 여분의 정보를 제외한 의도 어휘를 추출하였다.
• 별도의 평가자가 각 카테고리별 하위의도의 분류 체계를 수립하였고, 네 명의 평가자가 각 의도 어휘를 해당 세분화된 하위의도에 할당하였다.
• 평가자 간 일致도는 코헨의 카파 계수(κ = 0.79)로 측정되어 표기 품질을 확보하였다.
• 미리 학습된 변환기 모델(BERT, RoBERTa, ALBERT, DeBERTa)을 JointBERT 프레임워크를 사용하여 문서 분류 및 공동 의도-슬롯 분류 작업에 대해 미세조정하였다.
• 평가 지표로는 정밀도, 재현도, F1 점수 및 모든 클래스의 매크로 평균 점수를 사용하였으며, 클래스 불균형 영향에 주의를 기울였다.

실험 결과

연구 질문

• RQ1 변환기 기반 모델은 법적 문서를 살인, 강도, 토지 분쟁, 부패와 같은 굵은 의도 카테고리로 효과적으로 분류할 수 있는가?
• RQ2 모델은 법적 의도 어휘 내에서 '행동', '증거', '기술회' 등의 세분화된 하위의도를 얼마나 잘 식별하고 분류할 수 있는가?
• RQ3 클래스 불균형은 특히 부패와 같은 낮은 표본 수를 가진 카테고리에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 미리 학습된 변환기 모델을 사용하여 법적 텍스트에서 공동 의도 및 슬롯 분류를 효과적으로 수행할 수 있는가?
• RQ5 제안된 데이터셋은 법적 NLP에서 세분화된 의도 분류를 발전시키는 데 도전적이고 적합한 벤치마크로 활용될 수 있는가?

주요 결과

• DeBERTa가 가장 높은 문서 분류 정확도(0.90)와 F1 점수(0.90)를 기록하여 BERT, RoBERTa, DistilBERT를 앞섰다.
• 군데 수준의 의도 분류에서는 BERT가 가장 높은 F1 점수(0.89)를 기록했고, 이는 RoBERTa(0.88), ALBERT(0.87)에 이어졌으며, 매크로 평균 F1은 0.90이었다.
• 세분화된 의도 분류 성능은 크게 하락하였고, BERT는 매크로 F1 점수 0.50에 머물러 있어 향후 개선 여지가 크다는 것을 시사했다.
• BERT 기반의 JointBERT 모델은 세분화된 의도 분류 작업에서 매크로 평균 F1 점수 0.50을 기록하였으며, 개별 클래스의 F1 점수는 0.29에서 0.67 사이로 변동하였다.
• 부패 및 살인의 하위의도에서 성능이 가장 낮았으며, F1 점수는 각각 0.52와 0.54였고, '살인_증거'에서 가장 열악한 성능을 보였는데, 이는 표본 수가 적고 복잡도가 높기 때문이다.
• 모든 클래스의 표본 수가 낮음에도 불구하고, 세분화된 클래스 전반에서 F1 > 0.40을 달성하였고, 14개 클래스 중 12개가 0.40 이상의 점수를 기록하여, 향후 보완을 통해 이 작업의 가능성은 확인되었다.