[논문 리뷰] Neural Contract Element Extraction Revisited

Ilias Chalkidis, Manos Fergadiotis외 2명|arXiv (Cornell University)|2019. 09. 14.

Topic Modeling인용 수 9

한 줄 요약

이 연구는 계약 요소 추출을 위한 신경망 접근법을 재검토하며, 이 분야에서 LSTM 기반 인코더가 확장된 CNN, 트랜스포머, BERT보다 우수한 성능을 보임을 입증한다. 또한 도메인 특화 Word2Vec 임베딩이 일반적인 GloVe 임베딩보다 더 좋은 성능을 내며, 품사 태그, 토큰 형태, ELMo 임베딩은 성능 향상에 기여하지 않음을 보여주어 이전의 순서 레이블링 연구에서의 가정을 도전하며, 계약 요소 추출에서 작업에 특화된 설계의 필요성을 강조한다.

ABSTRACT

We investigate contract element extraction. We show that LSTM-based encoders perform better than dilated CNNs, Transformers, and BERT in this task. We also find that domain-specific WORD2VEC embeddings outperform generic pre-trained GLOVE embeddings. Morpho-syntactic features in the form of POS tag and token shape embeddings, as well as context-aware ELMO embeddings do not improve performance. Several of these observations contradict choices or findings of previous work on contract element extraction and generic sequence labeling tasks, indicating that contract element extraction requires careful task-specific choices. Analyzing the results of (i) plain TRANSFORMER-based and (ii) BERT-based models, we find that in the examined task, where the entities are highly context-sensitive, the lack of recurrency in TRANSFORMERs greatly affects their performance.

연구 동기 및 목표

• 최근 순서 모델링 기술의 발전을 고려하여 계약 요소 추출을 위한 신경망 아키텍처를 재평가하는 것.
• 특히 도메인 특화 Word2Vec와 일반적인 GloVe 간의 임베딩 유형이 성능에 미치는 영향을 평가하는 것.
• 형태구문적 특징(품사 태그, 토큰 형태)과 맥락 임베딩(ELMo)이 추출 정확도를 향상시키는지 조사하는 것.
• 트랜스포머 기반 모델이 다른 NLP 과제에서는 성공을 거두었음에도 불구하고 이 분야에서 성능이 열 劣하는 이유를 이해하는 것.
• 매우 맥락 민감한 계약 요소 추출에 진정으로 유익한 아키텍처 및 임베딩 선택을 규명하는 것.

제안 방법

• 계약 요소 추출을 위한 주요 순서 모델링 아키텍처로 LSTM 기반 인코더를 사용하였다.
• 법률 용어와 구조를 잘 반영하기 위해 계약 전용 텍스트 코퍼스를 기반으로 도메인 특화 Word2Vec 임베딩을 훈련시켰다.
• 동일한 데이터셋과 평가 프로토콜을 사용하여 확장된 CNN, 트랜스포머, BERT와 성능을 비교하였다.
• 기여도를 평가하기 위해 품사 태그, 토큰 형태, ELMo 임베딩을 추가 특징으로 통합하였다.
• 각 구성 요소의 성능에 미치는 영향을 분리하기 위해 추론 분석(ablation study)를 실시하였다.
• 성능 차이를 설명하기 위해 트랜스포머 및 BERT 기반 모델의 주의 메커니즘 패턴과 순서 모델링 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델이 계약 요소 추출에서 트랜스포머 및 BERT와 같은 주의 기반 모델보다 우수한가?
• RQ2 도메인 특화 Word2Vec 임베딩을 훈련시키는 것이 일반적인 사전 훈련된 GloVe 임베딩을 사용할 때보다 더 좋은 성능을 내는가?
• RQ3 품사 태그와 토큰 형태와 같은 형태구문적 특징이 계약 텍스트에서 추출 정확도를 향상시키는가?
• RQ4 ELMo와 같은 맥락 임베딩이 이 특정 과제에서 성능 향상을 가져오는가?
• RQ5 트랜스포머 기반 모델이 다른 NLP 과제에서는 성공을 거두었음에도 불구하고 이 맥락에서 성능이 열 劣하는 이유는 무엇인가?

주요 결과

• LSTM 기반 인코더가 확장된 CNN, 트랜스포머, BERT보다 계약 요소 추출에서 유의미하게 뛰어나며, 이는 이 과제에서 순환 구조가 유리함을 시사한다.
• 도메인 특화 Word2Vec 임베딩이 일반적인 GloVe 임베딩보다 더 좋은 성능을 내며, 이는 법률 도메인 적응이 표현 학습을 향상시킨다는 것을 시사한다.
• 품사 태그와 토큰 형태 임베딩과 같은 형태구문적 특징은 모델 성능 향상에 기여하지 않으며, 이는 일반적인 순서 레이블링 과제에서의 결과와 정반대이다.
• ELMo와 같은 맥락 임베딩 역시 성능 향상에 기여하지 않으며, 이는 이 특정 맥락에서의 유용성이 제한적임을 시사한다.
• 트랜스포머에서의 순환 구조 부재로 인해 매우 맥락 민감한 계약 요소에서 성능 저하가 발생하며, 이는 다른 설정에서는 강력한 일반화 능력을 보였음에도 불구하고 성능 열 劣를 설명한다.