[논문 리뷰] Legal Question Answering using Ranking SVM and Deep Convolutional Neural Network

Phong-Khac Do, Huy Tien Nguyen외 3명|arXiv (Cornell University)|2017. 03. 16.

Topic Modeling참고 문헌 12인용 수 41

한 줄 요약

이 논문은 문단 수준의 분할과 통합된 특징을 사용하여 법적 정보 검색을 위한 Ranking SVM과 답변 분류를 위한 딥 컨volution 네트워크(CNN)를 결합한 법적 질문-답변 시스템을 제안한다. 특징 선택, 파라미터 초기화, 투표 전략을 최적화하여 정확도를 향상시켰으며, COLIEE 2016 벤치마크에서 단계 2에서 F1 스코어 0.4857, 단계 3에서 0.4737을 기록하여 베이스라인 모델을 능가한다.

ABSTRACT

This paper presents a study of employing Ranking SVM and Convolutional Neural Network for two missions: legal information retrieval and question answering in the Competition on Legal Information Extraction/Entailment. For the first task, our proposed model used a triple of features (LSI, Manhattan, Jaccard), and is based on paragraph level instead of article level as in previous studies. In fact, each single-paragraph article corresponds to a particular paragraph in a huge multiple-paragraph article. For the legal question answering task, additional statistical features from information retrieval task integrated into Convolutional Neural Network contribute to higher accuracy.

연구 동기 및 목표

• 기계 학습 모델을 사용하여 일본 민법 해석에서 법적 정보 검색 및 질문-답변 성능을 향상시키는 것.
• 특징 선택과 문단 수준의 분할이 검색 및 QA 성능에 미치는 영향을 조사하는 것.
• 정보 검색 작업에서 유도된 통계적 특징을 통합하고 파라미터 초기화를 최적화하여 CNN 기반 질문-답변 성능을 향상시키는 것.
• 정보 검색 및 질문-답변 모델 점수를 조합한 투표 전략의 효과를 평가하여 분류 성능을 향상시키는 것.
• 작은 법적 데이터셋에서 딥 러닝의 한계를 분석하고 수작업 특징의 가치를 탐색하는 것.

제안 방법

• 두 단계로 구성된 파이프라인 프레임워크를 사용한다: 정보 검색(Ranking SVM를 통한 법적 정보 검색(LIR))과 질문-답변(CNN를 통한 법적 질문-답변(LQA))이다.
• LIR의 경우, 쿼리와 문서 간의 유사도 점수를 계산하기 위해 LSI, 맨하탄 거리, 재귀 유사도를 조합한 특징 트리플릿을 사용한다.
• 정확도 향상을 위해 법적 문서를 단일 문단 단위로 분할하여 쿼리와 관련 내용 간의 더 정밀한 매칭을 가능하게 한다.
• LQA의 경우, 추가적인 통계적 특징(정보 검색 작업에서 유도됨)을 포함한 쿼리-문서 쌍으로 CNN을 훈련시켜 답변 분류 성능을 향상시킨다.
• 정보 검색 및 질문-답변 모델의 점수를 조합하는 투표 메커니즘을 통해 쿼리-문서 쌍을 "YES" 또는 "NO"로 분류한다.
• CNN의 파라미터 초기화는 매우 민감하게 작용하므로 철저히 최적화되어 있다.

실험 결과

연구 질문

• RQ1 다양한 특징 세트가 법적 정보 검색에서 Ranking SVM의 성능에 어떤 영향을 미치는가?
• RQ2 다중 문단 법적 문서를 단일 문단 단위로 분할하면 검색 정확도가 향상되는가?
• RQ3 정보 검색에서 도출된 특징을 CNN 모델에 통합하면 법적 질문-답변 성능에 어떤 영향을 미치는가?
• RQ4 파라미터 초기화가 법적 QA에서 CNN의 정확도에 어느 정도의 영향을 미치는가?
• RQ5 정보 검색과 질문-답변 점수를 조합한 투표 전략이 전체 분류 성능 향상에 기여하는가?

주요 결과

• LSI, 맨하탄 거리, 재귀 유사도 특징 세트 조합이 Ranking SVM 기반 법적 정보 검색 작업에서 최고의 성능을 기록했다.
• 법적 문서를 단일 문단 단위로 분할함으로써 쿼리와 관련 내용 간의 정밀한 매칭이 가능해져 검색 정확도가 뚜렷이 향상되었다.
• CNN 모델은 초기 파라미터 값에 매우 민감하게 반응하며, 철저한 초기화가 질문-답변 정확도 향상에 뚜렷한 기여를 했다.
• 정보 검색 작업에서 도출된 통계적 특징을 CNN 모델에 통합함으로써 성능 향상이 이루어졌으며, 이는 다중 작업 간 특징 공유의 가치를 입증했다.
• 정보 검색 및 질문-답변 모델 점수를 조합한 투표 전략은 개별 모델을 초월하여 성능을 높였으며, 특히 정보 검색 순위 정확도 부족으로 인한 오류를 줄이는 데 효과적이었다.
• 딥 러닝을 사용했음에도 불구하고, 작은 크기의 COLIEE 2016 데이터셋에서는 성능이 제한되었으며, 이는 소규모 데이터 환경에서 수작업 특징과 규칙 기반 방법이 여전히 효과적임을 시사한다.