[논문 리뷰] Automatic Catchphrase Extraction from Legal Case Documents via Scoring using Deep Neural Networks

Vu Tran, Le-Minh Nguyen외 1명|arXiv (Cornell University)|2018. 09. 14.

Advanced Text Analysis Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 코퍼스 전체 통계나 인용 정보에 의존하지 않고 문서 수준의 맥락과 골드 표준 캐치프레이즈만을 사용하여 법적 사건 문서에서 자동으로 캐치프레이즈를 추출하기 위한 딥러닝 기반 방법을 제안한다. 이 시스템은 국소적 맥락과 워드 임베딩을 기반으로 문구를 점수 매기는 컨volutional 신경망(CNN)을 활용하여, 외부 메타데이터를 사용하는 최신 기법들과 비교해 유사한 ROUGE 점수를 달성한다.

ABSTRACT

In this paper, we present a method of automatic catchphrase extracting from legal case documents. We utilize deep neural networks for constructing scoring model of our extraction system. We achieve comparable performance with systems using corpus-wide and citation information which we do not use in our system.

연구 동기 및 목표

• 외부 코퍼스 전체 통계나 인용 정보에 의존하지 않는 법적 사건 문서를 위한 자동 캐치프레이즈 추출 시스템을 개발하는 것.
• 딥 네ural 네트워크를 사용하여 골드 캐치프레이즈와 문서 내 문구 간의 직접적 관계를 학습함으로써 캐치프레이즈 식별을 향상시키는 것.
• 기존에 캐치프레이즈가 없는 역사적 문서와 새로운 사건 보고서 모두에 대해 효율적이고 정확한 캐치프레이즈 생성을 가능하게 하는 것.
• 로컬 맥락과 학습된 표현만을 사용하여 캐치프레이즈를 일반 문장 어절과 구분할 수 있는 모델의 능력을 평가하는 것.

제안 방법

• 시스템은 두 단계의 접근 방식을 사용한다: 컨volutional 신경망(CNN)을 통한 문구 점수 매기기 이후 상위 점수 문구 선별.
• CNN 모델은 각 단어를 주변 단어(크기 5인 컨텍스트 윈도우), 문장, 문서 수준의 특징을 포함하여 잠재 표현으로 인코딩한다.
• 워드 임베딩(GloVe)을 입력 특징으로 사용하며, 모델은 캐치프레이즈와 비캐치프레이즈 간의 점수 차이를 최대화하기 위해 대비 손실 함수를 사용해 훈련된다.
• 손실 함수는 다중 구성 요소를 포함한다: 양성 쌍 손실, 음성 쌍 손실, 일반화를 향상시키고 과적합을 방지하기 위한 정규화 항목.
• 문구 선별은 윈도우 크기 5 기반으로 반경 r=4 내 상위-t 앵커 문구를 식별함으로써 수행되며, 문법적 제약 조건이 없다.
• 모델는 확률적 경사 하강법를 사용해 엔드 투 엔드로 훈련되며, 기울기 클리핑과 고정 학습률 0.0001을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 코퍼스 전체 통계나 인용 정보에 의존하지 않고 문서 내 맥락과 골드 캐치프레이즈만을 사용하여 법적 캐치프레이즈를 효과적으로 추출할 수 있는가?
• RQ2 기존 방법들과 비교해 CNN 기반 점수 매기기 모델이 캐치프레이즈와 일반 문장 어절을 얼마나 잘 구분하는가?
• RQ3 학습된 점수들이 캐치프레이즈에 대해 평균 점수가 더 높고, 문장 어절보다 분산이 더 낮다는 등의 핵심 제약 조건을 얼마나 충족하는가?
• RQ4 다양한 연도에서 수집된 다양한 법적 사건 문서 세트에 대해 시스템의 성능이 일관되게 유지되는가?

주요 결과

• 제안된 시스템은 4개의 테스트 세트(2006–2009)에서 평균 ROUGE-1 F1 점수 0.2295를 기록하여, 코퍼스 전체 통계 및 인용 정보를 사용하는 시스템과 유사한 성능을 달성한다.
• ROUGE-W에서 가장 높은 성능을 보이며 평균 F1 점수 0.1175를 기록하여, 후보 캐치프레이즈와 기준 캐치프레이즈 간의 긴 공통 서열을 잘 포착함을 시사한다.
• 5개의 설계 제약 조건 중 3개를 충족한다: 캐치프레이즈 점수는 문장 어절보다 평균과 분산이 높으며, 캐치프레이즈가 일률적으로 높은 점수를 받는 것을 방지한다.
• 부정적 제약 조건(o2)을 엄격히 충족하지는 않지만, 모든 캐치프레이즈가 문장 어절보다 높게 점수 매겨지지 않아 안정성을 보여준다.
• 다양한 테스트 세트에서 성능이 안정적이며, ROUGE-1 F1 점수는 2006년의 0.2148에서 2009년의 0.2584 사이로 변동하여 일관된 일반화 능력을 보인다.
• Mead LexRank, Mead Centroid, Random 선택 등의 강력한 베이스라인보다 모든 ROUGE 지표에서 뛰어난 성능을 보여 시스템의 효과성을 확인한다.