[논문 리뷰] Multilingual person name recognition and transliteration

Bruno Pouliquen, Ralf Steinberger외 5명|ArXiv.org|2006. 09. 11.

Authorship Attribution and Profiling참고 문헌 5인용 수 5

한 줄 요약

이 논문은 뉴스 기사에서 사람 이름을 추출하고, 라틴, 셈리크, 그리스, 아랍 문자 간에 다국어 이름 변형을 매칭하며, 공통 등장 빈도를 통해 관계를 추론하는 다국어 이름 인식 및 표준화 시스템을 제시한다. 기존의 双어 번역에 의존하지 않고 내부 표준 이름 표현 방식을 사용함으로써 NewsExplorer 뉴스 분석 시스템에서 확장 가능한 이름 매칭을 가능하게 하며, 매일 25,000건의 기사가 다국어로 클러스터링되는 시스템을 운영한다.

ABSTRACT

We present an exploratory tool that extracts person names from multilingual news collections, matches name variants referring to the same person, and infers relationships between people based on the co-occurrence of their names in related news. A novel feature is the matching of name variants across languages and writing systems, including names written with the Greek, Cyrillic and Arabic writing system. Due to our highly multilingual setting, we use an internal standard representation for name representation and matching, instead of adopting the traditional bilingual approach to transliteration. This work is part of the news analysis system NewsExplorer that clusters an average of 25,000 news articles per day to detect related news within the same and across different languages.

연구 동기 및 목표

• 다양한 글자 체계를 가진 다국어 뉴스 컬렉션에서 정확한 인물 이름 추출을 가능하게 하기 위해.
• 라틴, 셈리크, 그리스, 아랍 문자를 포함한 다양한 글자 체계 간에 동일한 개인을 가리키는 이름 변형을 매칭하기 위해.
• 다국어 뉴스 기사 내에서의 공통 등장 패턴을 기반으로 사람 간 관계를 추론하기 위해.
• 기존의 이중 언어 표준화 방식의 한계를 극복하기 위해 통합된 내부 이름 표현 방식을 사용함으로써.
• NewsExplorer 시스템에서 확장 가능한 다국어 뉴스 클러스터링을 지원하여 일일 약 25,000건의 기사 처리를 가능하게 하기 위해.

제안 방법

• 시스템은 뉴스 기사의 여러 언어에서 인물 이름을 추출하기 위해 다국어 이름 인식 모듈을 사용한다.
• 이중 언어 표준화 쌍에 의존하지 않고, 다양한 글자 체계 간 이름을 통합하기 위해 표준화된 내부 이름 표현 방식을 적용한다.
• 내부 표현 방식에서 정규화된 형태의 이름을 비교함으로써 다국어 간 이름 매칭을 수행하며, 이는 다양한 문자 간 매칭을 가능하게 한다.
• 관계 추론은 동일한 뉴스 기사 또는 클러스터 내에서 이름의 공통 등장 빈도에 기반한다.
• 시스템은 실시간으로 대규모 다국어 뉴스 스트림을 처리하는 뉴스 클러스터링 파이프라인인 NewsExplorer에 통합되어 있다.
• 이 방법은 JRC의 NewsExplorer 응용 프로그램 환경에서 평가되었으며, 공개적으로 접근 가능한 시스템이다.

실험 결과

연구 질문

• RQ1 어떻게 단일 통합 표현 방식을 사용하여 다국어 뉴스 소스에서 신뢰할 수 있게 인물 이름을 추출할 수 있는가?
• RQ2 이중 언어 표준화 쌍에 의존하지 않고, 셈리크와 라틴 문자와 같은 다양한 글자 체계 간 이름 변형을 얼마나 정확하게 매칭할 수 있는가?
• RQ3 공통 등장 패턴 기반의 관계 추론이 다국어 뉴스 기사 간 사람 간 관계 맺기에 얼마나 효과적인가?
• RQ4 단일 내부 이름 표현 방식이 실세계 뉴스 분석 시스템에서 확장 가능한 다국어 이름 매칭을 지원할 수 있는가?
• RQ5 25,000건의 다국어 뉴스 기사 매일 클러스터링하면서도 다국어 간 이름 일관성을 유지하는 데에 시스템의 성능은 어떠한가?

주요 결과

• 시스템은 그리스, 셈리크, 아랍 문자를 포함한 다양한 언어와 글자 체계에서 인물 이름을 성공적으로 추출하고 정규화한다.
• 내부 표준 이름 표현 방식의 사용은 기존의 이중 언어 표준화 방법에 비해 다국어 간 이름 매칭 정확도를 크게 향상시킨다.
• NewsExplorer 파이프라인 내에서 약 25,000건의 다국어 뉴스 기사 매일 처리가 가능하게 되어 확장 가능한 처리 성능을 달성했다.
• 뉴스 기사 내에서 이름의 공통 등장 패턴을 기반으로 다양한 언어 간 개인 간 관계를 효과적으로 추론할 수 있었다.
• 광범위한 이중 언어 학습 데이터가 필요 없이도 다국어 이름 변형을 효과적으로 처리할 수 있는 유연함을 보였다.
• 이 방법은 공개적으로 이용 가능한 NewsExplorer 응용 프로그램에 통합되어 실세계 뉴스 분석 환경에서의 실용적 구현을 검증하였다.