[논문 리뷰] Extracting Fairness Policies from Legal Documents

Rashmi Nagpal, Chetna Wadhwa외 4명|arXiv (Cornell University)|2018. 09. 12.

Ethics and Social Impacts of AI참고 문헌 19인용 수 5

한 줄 요약

이 논문은 복잡한 법적 문서에서 공정성 관련 정책을 자동으로 추출하기 위해 의미 유사도 기반 접근법을 제안하며, 고전적인 WordNet 기반 방법과 현대적인 단어 및 문장 벡터 표현 방식을 비교한다. GloVe 단어 벡터는 의미 분류 해제 및 문장 수준 모델링 능력이 없음에도 불구하고, 두 기준 기반 기반 및 다른 벡터 방법보다 뛰어난 성능을 보이며 우수한 성능을 입증한다.

ABSTRACT

Machine Learning community is recently exploring the implications of bias and fairness with respect to the AI applications. The definition of fairness for such applications varies based on their domain of application. The policies governing the use of such machine learning system in a given context are defined by the constitutional laws of nations and regulatory policies enforced by the organizations that are involved in the usage. Fairness related laws and policies are often spread across the large documents like constitution, agreements, and organizational regulations. These legal documents have long complex sentences in order to achieve rigorousness and robustness. Automatic extraction of fairness policies, or in general, any specific kind of policies from large legal corpus can be very useful for the study of bias and fairness in the context of AI applications. We attempted to automatically extract fairness policies from publicly available law documents using two approaches based on semantic relatedness. The experiments reveal how classical Wordnet-based similarity and vector-based similarity differ in addressing this task. We have shown that similarity based on word vectors beats the classical approach with a large margin, whereas other vector representations of senses and sentences fail to even match the classical baseline. Further, we have presented thorough error analysis and reasoning to explain the results with appropriate examples from the dataset for deeper insights.

연구 동기 및 목표

• 장기간이고 복잡한 법적 문서(예: 헌법 및 규제 코드)에서 공정성 관련 정책을 식별하는 데 도전하는 데 목적을 두며.
• 공정성 정책 추출을 위한 고전적인 자연어 처리 기법(WordNet 기반 유사도)과 현대적인 벡터 기반 접근법(GloVe, Sense2Vec, Para2Vec)을 비교한다.
• 법적 텍스트 내에서 도메인 특화된 공정성 개념을 포착하는 데 다양한 의미 유사도 방법의 효과를 평가한다.
• 각 방법의 강점과 한계를 이해하기 위해 오류 분석을 수행하여 법적 문서 이해 맥락에서의 성능을 분석한다.
• AI 시스템의 법적 공정성 기준 준수를 자동으로 점검할 수 있는 기반을 제공한다.

제안 방법

• 후보 문장과 공정성, 편향, 차별과 관련된 시드 개념에 대한 의미 유사도를 계산하기 위해 WordNet 기반 경로 유사도를 사용하였다.
• 후보 문장의 단어와 시드 용어 간의 코사인 유사도를 계산하기 위해 사전 학습된 GloVe 단어 벡터를 활용하였으며, 문장을 단어의 집합으로 간주하였다.
• 일반 도메인 코퍼스에서 학습된, 내장된 단어 의미 분류 해제 기능을 갖춘 맥락 인식 단어 표현을 위한 Sense2Vec을 탐색하였다.
• 전체 문장의 고수준 의미 표현을 포착하기 위해 Para2Vec을 적용하였으며, 문장 수준 의미를 모델링하고자 하였다.
• 유사도 점수의 최대값에 임계값을 설정하여, 그 값을 초과하는 문장을 공정성 정책으로 분류하였다.
• 오류 분석을 수행하여 각 방법의 실패 원인과 도메인 특화된 한계를 규명하였다.

실험 결과

연구 질문

• RQ1 고전적인 WordNet 기반 의미 유사도 기법은 법적 문서에서 공정성 정책을 추출하는 데 얼마나 효과적인가?
• RQ2 현대적인 단어 및 문장 벡터 표현 방식은 이 특정 작업에서 고전적인 NLP 기법을 능가할 수 있는가?
• RQ3 Sense2Vec 및 Para2Vec와 같은 일부 벡터 기반 접근법은 이론적 우수성에도 불구하고 성능이 떨어지는 이유는 무엇인가?
• RQ4 각 방법의 주요 실패 원인은 무엇이며, 의미의 세분성과 도메인 불일치와 어떻게 관련되어 있는가?
• RQ5 법적 도메인에 맞게 미세조정 없이도 사전 학습된 임베딩을 효과적으로 활용할 수 있는 정도는 어느 정도인가?

주요 결과

• GloVe 단어 벡터가 모든 방법 중에서 가장 높은 성능을 기록하였으며, 고전적인 WordNet 기반 기반보다 뚜렷이 뛰어난 성능을 보였다.
• 고전적인 WordNet 기반 접근법은 정확한 의미 식별과 경로 기반 유사도 계산 덕분에 합리적인 성능을 보였다.
• Sense2Vec는 단어 의미를 모델링할 수 있는 능력이 있었지만, 사전 학습된 데이터와 법적 텍스트 간의 도메인 이탈로 인해 성능이 떨어졌다.
• Para2Vec는 공정성 정책의 좁고 특정한 의미를 포착하지 못했으며, 감정과 같은 더 넓은 의미 범주에 최적화되어 있기 때문이다.
• 오류 분석 결과, GloVe의 성공은 의미 모호성에 대한 강건성과 법적 어휘 표현의 일반화 능력 덕분이었으며, 의미 분류 해제 없이도 성능을 유지했다.
• 본 연구는 도메인 불일치와 군집적인 의미 포착의 부족이 법적 NLP 작업에서 사전 학습된 임베딩의 주요 한계임을 드러냈다.