[논문 리뷰] Shift-of-Perspective Identification Within Legal Cases

Gathika Ratnayaka, Thejan Rupasinghe외 4명|arXiv (Cornell University)|2019. 06. 06.

Artificial Intelligence in Law참고 문헌 30인용 수 6

한 줄 요약

이 논문은 의미 분석, 개방형 정보 추출, 감성 분석을 융합하여 법적 의견 텍스트에서 시각의 전환 문장을 식별하는 새로운 방법론을 제안한다. 이 방법은 동일한 주제에 대해 다른 시각을 제시하는 문장을 탐지할 때 정밀도 0.688과 F-측도 0.524를 기록하여 이전 연구에 비해 크게 향상되었으며, 반론 및 대립되는 법적 입장을 자동으로 탐지하는 데 기여한다.

ABSTRACT

Arguments, counter-arguments, facts, and evidence obtained via documents related to previous court cases are of essential need for legal professionals. Therefore, the process of automatic information extraction from documents containing legal opinions related to court cases can be considered to be of significant importance. This study is focused on the identification of sentences in legal opinion texts which convey different perspectives on a certain topic or entity. We combined several approaches based on semantic analysis, open information extraction, and sentiment analysis to achieve our objective. Then, our methodology was evaluated with the help of human judges. The outcomes of the evaluation demonstrate that our system is successful in detecting situations where two sentences deliver different opinions on the same topic or entity. The proposed methodology can be used to facilitate other information extraction tasks related to the legal domain. One such task is the automated detection of counter arguments for a given argument. Another is the identification of opponent parties in a court case.

연구 동기 및 목표

• 동일한 주제나 실체에 대해 다른 시각을 제시하는 법적 의견 텍스트의 문장을 탐지하기 위해.
• 대립 또는 다원적 의견과 같은 시각의 전환을 식별함으로써 법적 문서에서의 자동 정보 추출을 향상시키기 위해.
• 반론 탐지 및 법적 사건에서 대립 당사자 식별과 같은 후행 작업을 지원하기 위해.
• 법적 도메인에서 의미 분석 및 감성 분석 기법의 성능 평가 및 향상시키기 위해.
• 사법 의견에서 특히 '시각 전환'과 같은 논의 관계를 식별하는 강력한 시스템 개발하기 위해.

제안 방법

• 문장 쌍 간의 시각 전환을 탐지하기 위해 의미 분석, 개방형 정보 추출(OLLIE 사용), 감성 분석을 융합한다.
• 동사 관계 분석을 核심 구성 요소로 사용하여 두 문장의 동사가 충돌하거나 다른 행동 또는 상태를 표현할 때를 식별한다.
• 감성 어노테이터 모델(Gamage 등, 2018)을 적용하여 문장 간 의견 극성의 변화를 탐지한다.
• 논의 관계 식별기(SRI)를 사용하여 '시각 전환'을 포함한 논의 관계를 분류한다.
• 200개의 인간 레이블링 문장 쌍을 사용하여 시스템을 평가하며, 각 쌍에 대해 최소 두 명의 평가자가 관계 유형에 동의한다.
• 다양한 기법을 통합하고 그 조합된 성능을 평가하여 시각 전환 탐지 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 시스템은 법적 의견 텍스트에서 동일한 주제나 실체에 대해 다른 시각을 제시하는 두 문장을 탐지할 수 있는가?
• RQ2 의미, 감성, 개방형 정보 추출 기반의 NLP 기법 조합 중에서 법적 텍스트에서 시각 전환을 가장 효과적으로 탐지하는 조합은 무엇인가?
• RQ3 동사 수준의 관계 분석은 다른 방법에 비해 시각 전환을 식별하는 데 얼마나 효과적인가?
• RQ4 기존의 의미 유사도 및 감성 모델을 법적 텍스트에 어떻게 적응시켜 시각의 이탈을 탐지할 수 있는가?
• RQ5 시각 전환 관계 탐지 기술이 반론 식별과 같은 자동 법적 정보 추출 작업을 향상시킬 수 있는가?

주요 결과

• 동사 관계 분석 접근법이 '시각 전환' 관계 탐지에서 가장 높은 정밀도(0.688)와 F-측도(0.524)를 기록하여 다른 방법들을 압도했다.
• SRI와 시각 전환 탐지 기반의 통합 시스템은 '시각 전환' 관계에 대해 F-측도 0.524를 기록하여 이전 연구(Ratnayaka 등, 2018)에 비해 뚜렷한 향상이 있었다.
• 감성 분석은 의견 변화 탐지에 기여했지만, 기반 모델의 성능(76% 정확도)과 문장 길이에 대한 민감도로 인해 정확도가 제한되었다.
• OLLIE에서 생성된 삼항관계를 이용한 불일치 탐지 접근법은 0.27의 정밀도에 머물렀으며, 이는 2150개의 문장 쌍 중 1570개에서 삼항관계 추출에 실패했기 때문이다.
• 시스템은 다른 논의 관계 탐지에서도 뛰어난 성능을 보였다: '확장 관계'에 대해 F-측도 0.933, '인용 관계'에 대해 0.985, '관계 없음'에 대해 0.868.
• 연구는 동사 수준의 분석이 법적 텍스트에서 시각 전환을 탐지하는 데 감성 또는 삼항관계 기반 방법보다 더 효과적임을 경험적으로 검증했다.