[논문 리뷰] Learning Alternative Name Spellings

Jeffrey Sukharev, Leonid Zhukov외 1명|arXiv (Cornell University)|2014. 05. 07.

Data Quality and Management참고 문헌 10인용 수 3

한 줄 요약

이 논문은 대규모 가족역사 데이터와 사용자 검색 쿼리 로그를 활용하여 보다 정확한 성의 이종 철자법을 학습하기 위해 문자 수준의 기계 번역(MT) 기반 접근법을 제안한다. 이 방법은 정확도와 재현율 측면에서 전통적인 철자음 비슷한 방법들보다 뛰어나며, Moses 5-그램 MT 모델이 검색 및 기록 데이터셋 양쪽에서 최고의 성능을 보였다.

ABSTRACT

Name matching is a key component of systems for entity resolution or record linkage. Alternative spellings of the same names are a com- mon occurrence in many applications. We use the largest collection of genealogy person records in the world together with user search query logs to build name matching models. The procedure for building a crowd-sourced training set is outlined together with the presentation of our method. We cast the problem of learning alternative spellings as a machine translation problem at the character level. We use in- formation retrieval evaluation methodology to show that this method substantially outperforms on our data a number of standard well known phonetic and string similarity methods in terms of precision and re- call. Additionally, we rigorously compare the performance of standard methods when compared with each other. Our result can lead to a significant practical impact in entity resolution applications.

연구 동기 및 목표

• 엔티티 해석 시스템에서 성의 신뢰할 수 있는 이종 철자법을 식별하는 데 도전 과제를 해결하기 위해.
• 가족역사 데이터베이스와 검색 로그에서 실제 사용자 행동을 기반으로 한 이름 변형을 학습하는 데이터 기반 방법을 개발하기 위해.
• 고정밀도, 순위가 매겨진 이종 철자법 목록을 생성함으로써 가족역사 응용 프로그램의 검색 정확도를 향상시키기 위해.
• 엄격한 정보 검색 평가 지표를 사용하여 기계 번역, 철자음, 문자 유사도 방법의 성능을 평가하고 비교하기 위해.
• 표준 알고리즘을 초월하여 실제 세계의 철자 변형을 포괄하는 확장 가능하고 실용적인 엔티티 해석 솔루션을 제공하기 위해.

제안 방법

• 저자는 이름 변형을 원본 이름의 번역으로 간주함으로써, 이종 철자법을 학습하는 문제를 문자 수준 기계 번역 작업으로 재정의한다.
• 번역 품질 향상을 위해 n-그램 언어 모델(5-그램 및 6-그램)을 사용하여 Moses 툴킷을 활용해 신경 기반 기계 번역 모델을 훈련시킨다.
• 훈련 데이터는 두 가지 출처에서 구성된다: (1) 사용자가 생성한 스캔된 기록에 대한 가족 트리 링크, (2) 로깅된 사용자 세션에서의 쿼리 재구성.
• 데이터셋은 개인정보를 제거하고 성명 쌍만 유지하며, 고품질의 이름 매칭에 대해 필터링된다.
• 정밀도-재현율 곡선과 10-겹 교차 검증에서 유도된 신뢰구간을 사용하여 평가가 수행되며, 통계적 유의성을 위해 타원형 밀도 등고선이 사용된다.
• 표준 정보 검색 평가 방법론을 사용하여 Soundex, NYSIIS, Jaro-Winkler, Levenshtein, Phonex 등의 표준 방법과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 문자 수준 기계 번역 모델이 기존의 철자음 및 문자 유사도 방법보다 이종 철자법 식별에서 뛰어난 성능을 보일 수 있는가?
• RQ2 실제 가족역사적 이름 변형 데이터에서 다양한 철자음 인코딩 방법(예: NYSIIS, Soundex)의 성능은 어떻게 비교되는가?
• RQ3 쿼리 재구성 로그와 기록 연결 데이터는 이종 철자법 탐지의 고품질 훈련 세트를 구축하는 데 얼마나 기여하는가?
• RQ4 MT 프레임워크 내에서 다양한 n-그램 언어 모델 구성의 상대적 성능은 어떠한가?
• RQ5 MT 기반 접근법은 검색 로그와 기록 데이터베이스와 같은 다양한 데이터 소스 간에 일반화되는가?

주요 결과

• Moses 5-그램 기계 번역 모델이 '검색' 및 '기록' 데이터셋 양쪽에서 정밀도와 재현율 측면에서 모든 다른 방법보다 뚜렷이 뛰어난 성능을 보였다.
• MT 모델은 정밀도-재현율 곡선 아래 면적에서 가장 높은 값을 기록했으며, 신뢰구간이 통계적으로 뛰어난 성능을 나타내었다.
• NYSIIS 철자음 인코딩이 이 데이터셋에서 Soundex 및 Phonex와 같은 다른 철자음 방법보다 뛰어난 성능을 보였으며, 이는 이전 연구 결과와 정반대되는 결과였다.
• Levenshtein 및 Jaro-Winkler 유사도 측정법은 다른 철자음 방법보다 성능이 뛰어났지만 여전히 MT 접근법에 뒤지지 않았다.
• 5-그램 및 6-그램 MT 모델은 '검색' 데이터셋에서 略로 뛰어난 성능을 보였고, '기록' 데이터셋에서는 MT 모델 간 성능 차이가 미미했다.
• 최고 성능을 낸 MT 모델의 신뢰구간은 Jaro-Winkler 및 Levenshtein와 거의 겹치지 않아 다른 방법들과의 명백한 성능 격차를 시사했다.