[논문 리뷰] Fast Approach to Build an Automatic Sentiment Annotator for Legal Domain using Transfer Learning

Viraj Salaka Gamage, Menuka Warushavithana외 4명|arXiv (Cornell University)|2018. 10. 03.

Topic Modeling참고 문헌 16인용 수 5

한 줄 요약

이 논문은 영화 리뷰에서 사전 훈련된 RNTN 모델을 사용하여 법적 텍스트의 자동 감성 주석자 구축을 위한 전이 학습 접근법을 제안한다. 수동으로 주석 처리된 법적 코퍼스에서 소스 모델을 미세조정함으로써, 부정 감성 탐지에 대해 정확도가 6% 향상(76.80% 대 70.17%)되고 재현율이 10% 향상(70.14%)된 결과를 얻었다.

ABSTRACT

This study proposes a novel way of identifying the sentiment of the phrases used in the legal domain. The added complexity of the language used in law, and the inability of the existing systems to accurately predict the sentiments of words in law are the main motivations behind this study. This is a transfer learning approach, which can be used for other domain adaptation tasks as well. The proposed methodology achieves an improvement of over 6\% compared to the source model's accuracy in the legal domain.

연구 동기 및 목표

• 법적 텍스트의 감성 분석에 도전하는 것 — 이는 언어적으로 복잡하고 자연어 처리 분야에서 다루지 않은 분야이기 때문이다.
• 영화 리뷰에서 사전 훈련된 감성 모델(예: RNTN)의 한계를 극복하는 것 — 이는 법적 도메인 언어에서 성능이 떨어지기 때문이다.
• 법적 도메인에서 대규모 수동 주석을 요구하지 않고도 도메인 적응형 감성 주석자를 개발하는 것.
• 법적 문장에서의 부정 감성 자동 식별을 가능하게 하여 법적 추론과 논증 분석를 지원하는 것.
• 이 방법의 전이 가능성과 자연어 처리 분야의 다른 도메인 적응 작업에 응용 가능성을 입증하는 것.

제안 방법

• 영화 리뷰에서 사전 훈련된 재귀적 신경 텐서 네트워크(RNTN) 모델을 감성 분류를 위해 미세조정하는 것 — 원래는 영화 리뷰에서 훈련된 모델을 사용한다.
• 법원 재판 기록에서 유래한 약 1,500개의 법적 문장으로 구성된 수동 주석 처리된 테스트 데이터셋을 사용하며, 각 문장은 부정 또는 비부정으로 레이블링된다.
• 소규모 도메인 전용 데이터셋을 사용하여 소스 모델의 파라미터를 법적 도메인에 적응시키는 전이 학습 기법을 적용하는 것.
• 정밀도를 크게 떨어뜨리지 않으면서 재현율을 향상시키기 위해 부정 감성 클래스에 대해 임계값 기반 점수 기반 결정 기법을 도입하는 것.
• 혼동 행렬과 표준 평가 지표를 사용하여, 미세조정된 타겟 모델의 성능을 원본 소스 모델(Socher et al., 2013b)과 비교하는 것.
• RNTN의 구조적 특성을 활용하여 법적 텍스트의 계층적 문법적 의존성을 포착함으로써 문장 수준의 감성 모델링을 수행하는 것.

실험 결과

연구 질문

• RQ1 영화 리뷰에서 사전 훈련된 감성 모델을 법적 도메인에 최소한의 도메인 전용 주석 데이터로 효과적으로 전이 학습할 수 있는가?
• RQ2 RNTN 모델의 미세조정이 원본 모델 대비 법적 텍스트에서 감성 분류 정확도와 재현율을 얼마나 향상시키는가?
• RQ3 타겟 모델의 성능은 원본 모델 대비 법적 문장에서의 부정 감성 식별에 있어 어떻게 비교되는가?
• RQ4 임계값 기반 결정 규칙을 도입함으로써 법적 텍스트의 감성 분류에서 재현율과 정밀도에 어떤 영향을 미치는가?
• RQ5 이 전이 학습 접근법은 법적 도메인 외의 다른 도메인 적응 작업으로 일반화될 수 있는가?

주요 결과

• 타겟 모델은 법적 문장의 감성 분류에 대해 총 정확도 76.80%를 달성하였으며, 이는 원본 모델의 70.17%보다 6% 향상된 성능이다.
• 부정 감성 탐지에 대해 재현율 70.14%를 기록하였으며, 기준 모델의 60.43%보다 10% 향상된 성능을 보였다.
• 부정 감성 클래스의 정밀도는 타겟 모델에서 84.41%로 상승하였으며, 기준 모델의 79.62%에서 증가하였다.
• 소스 모델과 타겟 모델 간 예측의 차이가 전체 문장의 9.5%에서 발생하였으며, 이는 성능 향상이 도메인 특화 적응에 기인함을 시사한다.
• 모델의 성능는 소스 모델의 상한선에 의해 제한되어 있어, 향후 성능 향상을 위해서는 소스 아키텍처의 개선이 필요하다는 점을 시사한다.
• 이 방법은 전이 가능하며, 새로운 대규모 수동 주석 데이터를 요구하지 않고도 다른 도메인에 쉽게 적용 가능하다.