[논문 리뷰] Exploiting Lists of Names for Named Entity Identification of Financial Institutions from Unstructured Documents

Zheng Xu, Douglas Burdick외 1명|arXiv (Cornell University)|2016. 02. 14.

Data Quality and Management참고 문헌 10인용 수 5

한 줄 요약

이 논문은 금융기관(FI) 이름의 접두어와 접미사 전용 사전을 활용하여 비구조화된 금융 공모채권 문서에서 명명된 실체 인식(NER)과 식별 해소(ER)를 향상시키는 규칙 기반 접근법인 사전 기반 NER 및 순위 기반 ER을 제안한다. 이 방법은 일반 목적 NER에 비해 정밀도가 놈유지하면서도 특히 헤더와 같은 덜 구조화된 섹션에서 뛰어난 성능을 보인다.

ABSTRACT

There is a wealth of information about financial systems that is embedded in document collections. In this paper, we focus on a specialized text extraction task for this domain. The objective is to extract mentions of names of financial institutions, or FI names, from financial prospectus documents, and to identify the corresponding real world entities, e.g., by matching against a corpus of such entities. The tasks are Named Entity Recognition (NER) and Entity Resolution (ER); both are well studied in the literature. Our contribution is to develop a rule-based approach that will exploit lists of FI names for both tasks; our solution is labeled Dict-based NER and Rank-based ER. Since the FI names are typically represented by a root, and a suffix that modifies the root, we use these lists of FI names to create specialized root and suffix dictionaries. To evaluate the effectiveness of our specialized solution for extracting FI names, we compare Dict-based NER with a general purpose rule-based NER solution, ORG NER. Our evaluation highlights the benefits and limitations of specialized versus general purpose approaches, and presents additional suggestions for tuning and customization for FI name extraction. To our knowledge, our proposed solutions, Dict-based NER and Rank-based ER, and the root and suffix dictionaries, are the first attempt to exploit specialized knowledge, i.e., lists of FI names, for rule-based NER and ER.

연구 동기 및 목표

• 비구조화되고 반구조화된 공모채권 문서에서 모기지 담보 채권의 맥락에서 정확한 금융기관(FI) 이름을 추출하는 데 도전하는 것.
• FI 이름 목록에서 도메인 특화 지식을 활용하여 명명된 실체 인식(NE) 및 실체 해소(ER)를 향상시키는 것.
• 일반 목적 NER보다 정밀도와 일관성 면에서 뛰어난 전문화된 규칙 기반 솔루션을 개발하는 것.
• 금융 문서에서 흔히 나타나는 FI 이름 패턴 향상을 위해 루트 및 접미사 사전의 효과를 탐색하는 것.
• 유사한 이름 규칙을 가진 다른 자산 담보 채권 공모채권 문서에 적용 가능한 재사용 가능한 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 도메인 특화된 루트 및 접미사 조각의 FI 이름 사전을 활용하는 규칙 기반 접근법을 사용하며, System T 선언적 정보 추출 플랫폼에 기반한다.
• 사전 기반 NER는 다수의 FI 이름 목록에서 유도된 정제된 루트 사전과 접미사 사전을 사용하는 사전 매칭 기능을 활용한다.
• 루트 및 접미사 사전는 'JPMORGAN'(루트) 및 'TRUST'(접미사)와 같은 FI 이름의 공통 패턴 분석을 통해 생성되며, 체계적인 이름 재구성 가능하다.
• 순위 기반 ER은 유사도 및 맥락적 단서를 기반으로 후보 실체를 코퍼스에서 순위 매김함으로써 모호한 언급을 해소하는 점수 함수를 사용한다.
• 이 방법은 5,000건 이상의 resMBS 공모채권 문서를 대상으로 평가되었으며, 동일한 플랫폼에서 일반 목적 ORG NER와의 성능을 비교하였다.
• 사용자 정의는 순위 기반 ER의 정규화된 목록을 'RAMP SERIES' 및 'TRUST'와 같은 일반적인 약어를 포함하도록 확장하여 재현율을 향상시켰다.

실험 결과

연구 질문

• RQ1 도메인 특화된 루트 및 접미사 사전을 사용하는 규칙 기반 NER 시스템이 비구조화된 문서에서 금융기관 이름을 인식하는 데 일반 목적 NER보다 뛰어난가?
• RQ2 제안된 사전 기반 NER의 정밀도와 재현율은 문서 섹션에 따라 일반 목적 ORG NER와 비교해 어떻게 다를까?
• RQ3 루트 및 접미사 사전는 금융 공모채권에서 일관된 구조 패턴을 따르는 FI 이름 인식에 어느 정도 향상시키는가?
• RQ4 비표준 또는 맥락 의존적인 FI 이름 약어를 만났을 때 사전 기반 접근법의 한계는 무엇인가?
• RQ5 제안된 방법은 유사한 이름 규칙을 가진 다른 자산 담보 채권 공모채권 문서에 일반화될 수 있는가?

주요 결과

• 사전 기반 NER는 일반 목적 NER에 비해 정밀도는 높이면서도 재현율은 유사하게 유지하여 도메인 특화 사전 커스터마이제이션의 이점을 입증하였다.
• 사전 기반 NER는 헤더 및 요약 섹션 모두에서 일관된 성능을 보였지만, 일반 목적 NER는 덜 구조화된 헤더 섹션에서 상당히 열 劣한 성능을 보였다.
• 루트 및 접미사 사전 접근법은 공통된 FI 이름 패턴을 효과적으로 포착하여 일반 목적 NER에서 흔히 발생하는 오진 및 부분 일치를 줄였다.
• 이 방법은 'ALTERNATIVE LOAN TRUST' 및 'ASSET BACKED NOTES SERIES'와 같은 비표준 약어를 다룰 떄 사전 매칭 외의 맥락 분석이 필요하여 어려움을 겪었다.
• 순위 기반 ER은 유사도가 높은 매칭을 우선시하는 점수 함수를 활용하여 모호한 경우의 정확도를 향상시켰다.
• 연구는 일반 목적 NER가 도메인 특화 사전과 정규 표현식 확장을 통해 향상될 수 있으며, 이는 다른 금융 문서 유형에도 광범위하게 적용 가능하다고 결론내렸다.