[논문 리뷰] State of the Art in Artificial Intelligence applied to the Legal Domain

João Dias, Pedro A. Santos외 5명|arXiv (Cornell University)|2022. 03. 10.

Artificial Intelligence in Law인용 수 5

한 줄 요약

이 논문은 인공지능, 특히 딥러닝과 의미 역할 레이블링을 활용한 법적 텍스트 분석 분야의 최신 기술 동향을 검토하며, 비전문가가 법적 정보를 검색하는 데 걸리는 '자연어 장벽'을 극복하는 데 초점을 맞춘다. 고도화된 NLP 기법을 활용해 비정형 텍스트에서 구조화된 법적 규범을 추출하며, 의무 규범의 경우 76.33의 F1 스코어, 권한 규범의 경우 85.15의 F1 스코어를 기록하여 비전문가가 더 직관적이고 정확한 법적 검색을 수행할 수 있도록 한다.

ABSTRACT

While Artificial Intelligence applied to the legal domain is a topic with origins in the last century, recent advances in Artificial Intelligence are posed to revolutionize it. This work presents an overview and contextualizes the main advances on the field of Natural Language Processing and how these advances have been used to further the state of the art in legal text analysis.

연구 동기 및 목표

• 최근 NLP 및 AI 기술의 발전이 법적 텍스트 접근성 향상에 어떻게 기여할 수 있는지 분석하기 위해.
• 비전문가가 법적 규범을 이해하고 검색하는 데 걸림돌이 되는 '자연어 장벽'을 해결하기 위해.
• 실제 입법 텍스트에 대한 의미 역할 레이블링 및 규범 추출 기법의 효과성을 평가하기 위해.
• 약한 지도 학습 기법을 활용해 법적 NLP 시스템을 학습시키는 데 있어 확장 가능하고 저비용인 방법을 규명하기 위해.
• 법적 결과의 관련성과 시의성을 향상시키는 프로아크티브 법적 정보 검색 시스템을 제안하기 위해.

제안 방법

• 법적 텍스트에서 동사, 목적어, 조건 등을 식별하기 위해 의미 역할 레이블링(SRL)을 활용하기 위해.
• 논리 기반 형식화와 데이터 중심 NLP 기법을 융합한 하이브리드 접근 방식을 통해 규범 표현을 구현하기 위해.
• 약한 지도 학습을 적용해 법적 정보 검색 모델 학습을 위한 질문-답변 쌍을 생성하기 위해.
• Eunomos 및 Legal-URN Hohfeldian 모델 기반의 사전 정의된 템플릿을 활용해 법적 규범을 추출하기 위해.
• 입법에서의 자연어 표현을 구조화된 규범 유형(허가, 의무, 권한 등)으로 매핑하기 위해.
• 실제 입법 문헌 코퍼스, 특히 미리보지 않은 법적 기관의 자료를 대상으로 시스템을 검증하여 일반화 능력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 최근 NLP 기술의 발전을 어떻게 활용해 비전문가 사용자를 위한 법적 정보 검색을 향상시킬 수 있는가?
• RQ2 의미 역할 레이블링이 비정형 법적 텍스트에서 법적 규범 구성 요소를 얼마나 정확하게 추출할 수 있는가?
• RQ3 특히 피동적 역할과 복잡한 조건문을 포함한 경우, 미리보지 않은 입법 텍스트에 대해 규범 추출 시스템의 성능은 어떠한가?
• RQ4 약한 지도 학습 기법을 통해 annotation 비용을 줄일 수 있을까? 이와 동시에 높은 정확도를 유지할 수 있는가?
• RQ5 의미 표현과 논리 기반 추론의 통합은 법적 텍스트 이해에 얼마나 효과적인가?

주요 결과

• 시험 세트의 법적 텍스트에서 의무 유형 규범 검출에 대해 F1 스코어 76.33, 권한 유형 규범 검출에 대해 F1 스코어 85.15를 기록하였다.
• 법적 정의의 78.5%는 SRL 목적어가 완전히 정확했지만, 규범 예제의 경우 오직 52%만이 목적어 전체가 정확했다.
• 시스템은 규범 유형과 주요 역할 추출에 있어 양호한 성능를 보였지만, 피동적 역할과 조건절 처리에는 어려움을 겪었다.
• 의미 정보 추출은 키워드 매칭을 넘어서 더 깊은 이해를 가능하게 하여 법적 텍스트 검색의 관련성을 향상시켰다.
• 약한 지도 학습 기법은 annotation 비용을 줄이고 대규모 법적 코퍼스에 쉽게 적용할 수 있다는 잠재력을 보였다.
• 딥러닝과 의미 표현 모델의 통합은 프로아크티브이고 사용자 友好的한 법적 정보 시스템을 향한 실현 가능한 길을 제시한다.