[논문 리뷰] Named Entity Recognition in the Legal Domain using a Pointer Generator Network

Stavroula Skylaki, Ali Oskooei외 3명|arXiv (Cornell University)|2020. 12. 17.

Topic Modeling참고 문헌 22인용 수 9

한 줄 요약

이 논문은 정확한 엔티티 위치가 알려져 있지 않은 노이즈가 많고 OCR에 의해 손상된 법적 문서에서 법적 명명된 엔티티 인식(NER)을 포인터 생성자 네트워크를 사용한 텍스트 간 시퀀스 생성 작업으로 재정의하는 것을 제안한다. 이 방법은 기존의 시퀀스 레이블링 모델보다 성능이 뛰어나며, 특히 긴 문서와 사례 번호와 같은 드문/알 수 없는 식별자에서 뛰어난 성능을 보이며, 문자 수준의 토큰화로 OOV 사례 번호에서 정확도가 50% 향상된다.

ABSTRACT

Named Entity Recognition (NER) is the task of identifying and classifying named entities in unstructured text. In the legal domain, named entities of interest may include the case parties, judges, names of courts, case numbers, references to laws etc. We study the problem of legal NER with noisy text extracted from PDF files of filed court cases from US courts. The "gold standard" training data for NER systems provide annotation for each token of the text with the corresponding entity or non-entity label. We work with only partially complete training data, which differ from the gold standard NER data in that the exact location of the entities in the text is unknown and the entities may contain typos and/or OCR mistakes. To overcome the challenges of our noisy training data, e.g. text extraction errors and/or typos and unknown label indices, we formulate the NER task as a text-to-text sequence generation task and train a pointer generator network to generate the entities in the document rather than label them. We show that the pointer generator can be effective for NER in the absence of gold standard data and outperforms the common NER neural network architectures in long legal documents.

연구 동기 및 목표

• 정확한 엔티티 위치가 알려져 있지 않은 OCR로 추출된 텍스트에서 법적 NER 모델을 훈련시키는 데 도전하는 것.
• OCR 오류와 오타가 많은 노이즈가 많은 긴 법적 문서에서 기존의 시퀀스 레이블링 NER 모델의 한계를 극복하는 것.
• 일반적으로 표준 모델에서 손상되거나 인식되지 않는 드문 및 어휘 외(OOV) 엔티티인 고유한 사례 번호 등의 추출을 향상시키는 것.
• 포인터 생성자 네트워크가 노이즈가 많고 불완전한 훈련 데이터에서 정확한 명명된 엔티티를 생성하는 데 효과적인지 평가하는 것.
• 문자 수준의 시퀀스 생성이 사례 번호와 같은 OOV 법적 식별자에서 성능을 크게 향상시킬 수 있는지 조사하는 것.

제안 방법

• 정확한 엔티티 스팬 레이블이 필요 없도록, NER 작업을 시퀀스 레이블링이 아닌 텍스트 간 시퀀스 생성 문제로 재정의하는 것.
• OOV 단어를 처리하고 OCR 오류에도 불구하고 엔티티의 무결성을 유지하기 위해 복사(포인터) 및 생성(생성기) 메커니즘을 모두 갖춘 포인터 생성자 네트워크를 사용하는 것.
• 모델이 입력 문서의 관련 부분에 주의를 기울이고 드문 또는 손상된 단어를 직접 복사할 수 있도록 글로벌 및 복사 주의 메커니즘을 적용하는 것.
• 입력에서 단어를 복사하거나 어휘에서 새로운 토큰을 생성하는 것을 동적으로 선택할 수 있는 하이브리드 추출-요약 아키텍처를 사용해 모델을 훈련하는 것.
• 단어 수준과 문자 수준의 토큰화를 모두 실험하며, 문자 수준의 입력이 임의의 문자 시퀀스를 생성할 수 있어 OOV 문제를 줄이는 데 기여하는 것.
• 특히 사례 번호에 대해 예측된 문자열과 진짜 문자열 간 유사도를 측정하기 위해 레벤슈타인 거리(Levinshetein distance)를 사용해 모델 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 정확한 엔티티 위치가 알려져 있지 않은 상태에서 포인터 생성자 네트워크가 법적 NER를 효과적으로 수행할 수 있는가?
• RQ2 OCR 오류가 있는 긴 노이즈가 많은 법적 문서에서 표준 시퀀스 레이블링 NER 아키텍처와 비교해 포인터 생성자 모델은 어떤 성능을 보이는가?
• RQ3 문자 수준의 토큰화가 사례 번호와 같은 OOV 법적 식별자 추출에 얼마나 기여하는가?
• RQ4 포인터 생성자에서 복사 및 생성 메커니즘의 조합이 법적 텍스트의 OCR 손상 및 오타로 인한 오류를 줄이는 데 효과적인가?
• RQ5 제안된 텍스트 간 생성 접근법이 당사자 이름과 사례 번호 외의 다른 드문 또는 고유한 법적 엔티티를 추출하는 데 일반화될 수 있는가?

주요 결과

• 포인터 생성자 네트워크는 엔티티 위치가 알려져 있지 않은 긴 법적 문서에서 표준 시퀀스 레이블링 NER 모델보다 성능이 뛰어나다.
• 문자 수준의 토큰화를 사용할 경우, 단어 수준의 토큰화 대비 사례 번호 추출 정확도가 50% 향상된다.
• 문자 수준 입력을 사용할 경우, 예측의 80% 이상이 한 글자 이하의 오류를 가진 반면, 단어 수준 모델은 그 비율이 50%에 불과하다.
• 포인터 생성자 모델은 입력 텍스트에서 복사함으로써 OCR 오류와 오타를 효과적으로 처리하여 드문 또는 손상된 단어를 생성하는 데 의존도를 낮춘다.
• 하이브리드 추출-요약 아키텍처는 일반적으로 기존 모델에서 잘못 분류되는 고유한 사례 번호와 같은 OOV 엔티티에서도 견고한 성능을 발휘한다.
• NER를 텍스트 간 생성으로 재정의함으로써, 정확한 스팬 레이블이 포함된 기준 데이터가 필요 없어지며, 부분적으로 레이블이 매겨진 법적 데이터셋으로도 훈련이 가능해진다.