[논문 리뷰] False-Friend Detection and Entity Matching via Unsupervised Transliteration

Yanqing Chen, Steven Skiena|arXiv (Cornell University)|2016. 11. 21.

Topic Modeling참고 문헌 27인용 수 15

한 줄 요약

이 논문은 위키백과에서 유래한 데이터와 서브스트링 기반 비용 행렬을 사용하여 69개 언어 간 정확한 표음화를 생성하는 비지도 표음화 모델을 제시한다. 이 모델은 상위 1위 정확도 32.85%를 달성하여 이전 시스템보다 뚜렷한 향상을 이룬다. 또한 단어 임베딩을 활용해 진정한 유사어와 오해의 유사어를 식별하여, 68개 언어 중 69개 언어에서 어휘적으로 유사한 쌍이 더 자주 진정한 빌린어임을 확인한다.

ABSTRACT

Transliterations play an important role in multilingual entity reference resolution, because proper names increasingly travel between languages in news and social media. Previous work associated with machine translation targets transliteration only single between language pairs, focuses on specific classes of entities (such as cities and celebrities) and relies on manual curation, which limits the expression power of transliteration in multilingual environment. By contrast, we present an unsupervised transliteration model covering 69 major languages that can generate good transliterations for arbitrary strings between any language pair. Our model yields top-(1, 20, 100) averages of (32.85%, 60.44%, 83.20%) in matching gold standard transliteration compared to results from a recently-published system of (26.71%, 50.27%, 72.79%). We also show the quality of our model in detecting true and false friends from Wikipedia high frequency lexicons. Our method indicates a strong signal of pronunciation similarity and boosts the probability of finding true friends in 68 out of 69 languages.

연구 동기 및 목표

• 69개 주요 언어 간 임의의 언어 쌍을 지원하는 확장 가능한 비지도 표음화 모델을 개발한다.
• 비지도 방법을 사용하여 진정한 표음화와 번역을 구분함으로써, 노이즈가 많은 위키백과 기반 표음화 학습 데이터를 정제한다.
• 서브스트링 매칭과 베이지안 비용 행렬을 통해 발음 유사성을 모델링하여 표음화 정확도를 향상시킨다.
• 분산 단어 임베딩에서 유도된 의미 유사성과 어휘 유사성을 조합하여 다국어 환경에서 진정한 유사어와 오해의 유사어를 식별한다.
• 어휘적 근접성이 빌린어의 의미 유사성과 관련이 있음을 입증함으로써, 진정한 빌린어의 탐지 능력을 향상시킨다.

제안 방법

• 개인명 및 장소명 간 위키백과 다국어 링크에서 유래한 576,403개의 표음화 쌍으로 구성된 학습 데이터셋을 구축하였다.
• 베이지안 확률 모델을 사용하여 기대치 기반 최적화 알고리즘을 적용하여 문자 및 서브스트링 기반 비용 행렬을 학습함으로써, 음소 수준의 인식을 가능하게 하였다.
• 언어 간 발음 및 철자 패턴을 모델링하기 위해 단일 문자 전이 방식이 아닌 서브스트링 매칭을 사용하였다.
• 사전 학습된 단어 임베딩을 활용하여 의미 유사성 테스트를 수행하고, 의미 기반으로 오해의 유사어를 걸러내었다.
• 편집 거리와 고빈도 어휘 목록 내 순위와 같은 내재적 측정 기준을 포함한 골드 표준 벤치마크를 사용하여 표음화 품질을 평가하였다.
• 편집 거리 ≤2 및 임베딩 거리 임계값을 사용하여 다국어 스캔을 수행하고, 잠재적 빌린어를 식별하며 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 수동 캘리브레이션 또는 언어별 튜닝 없이도 비지도 모델이 69개 언어 간 높은 정확도의 표음화를 달성할 수 있는가?
• RQ2 서브스트링 기반 표음화 비용 행렬 모델링이 발음 유사성을 더 잘 포착하는가, 단일 문자 전이 모델보다 성능이 뛰어나기 때문인가?
• RQ3 단어 임베딩이 다국어 환경에서 진정한 빌린어와 오해의 유사어를 효과적으로 구분할 수 있는가?
• RQ4 표음화된 단어 쌍에서 어휘 유사성(편집 거리)과 의미 유사성(임베딩 거리) 사이에 강한 상관관계가 존재하는가?
• RQ5 어휘적 신호와 의미적 신호를 조합할 경우, 다양한 언어 간 진정한 유사어 탐지 능력이 얼마나 향상되는가?

주요 결과

• 제안된 모델은 상위 1위, 상위 20위, 상위 100위 정확도가 각각 32.85%, 60.44%, 83.20%를 기록하여, 공유된 4개 언어에서 이전 시스템의 26.71%, 50.27%, 72.79%를 초월하였다.
• 이름 'obama'에 대해, 모델의 최고 표음화 결과는 100,000개의 빈도 높은 위키백과 단어에 포함된 23개 언어 중 20개 언어에서 골드 표준과 일치하였다.
• 25개 언어 중 22개 언어에서 모델의 최고 표음화 결과가 골드 표준과 최대 한 글자 이내의 치환으로만 다를 뿐이었다.
• 69개 언어 중 68개 언어에서 가장 가까운 어휘 거리(편집 거리 ≤2)를 가진 단어 쌍 집단이 더 먼 쌍보다 진정한 유사어일 가능성이 더 높았다.
• 단어 임베딩 유사성 테스트를 적용한 후, 68개 언어 중 69개 언어에서 가장 가까운 어휘 쌍의 50% 이상이 진정한 유사어로 확인되었으며, 유일한 이질적 사례는 베트남어, 라틴어, 말타어였다.
• Google 번역 테스트와 임베딩 테스트를 모두 통과한 단어 쌍 비율(B)을 전체 Google 번역 쌍 수(B+TP)로 나눈 결과, 33개 언어에서 0.5를 초과하여, 고품질의 임베딩과 신뢰할 수 있는 탐지 능력을 나타냈다.