[논문 리뷰] Transliteration in Any Language with Surrogate Languages

Stephen Mayhew, Christos Christodoulopoulos외 1명|arXiv (Cornell University)|2016. 09. 14.

Natural Language Processing Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 저자원 언어를 포함한 어떤 언어에서나 위키백과를 대체 학습 자료로 사용하여 표준화된 철자법을 생성하는 방법을 제안한다. 문체 유사도, 발음 체계 유사도, 학습된 임베딩 기반으로 위키백과 언어를 순위 매겨, 사전에 최적의 언어를 알고 있는 오라클보다도 성능이 유사하거나 뛰어나며, 특히 상위 후보들 간 가중치 투표 방식을 통해 일부 경우에서 오라클 성능을 초월한다.

ABSTRACT

We introduce a method for transliteration generation that can produce transliterations in every language. Where previous results are only as multilingual as Wikipedia, we show how to use training data from Wikipedia as surrogate training for any language. Thus, the problem becomes one of ranking Wikipedia languages in order of suitability with respect to a target language. We introduce several task-specific methods for ranking languages, and show that our approach is comparable to the oracle ceiling, and even outperforms it in some cases.

연구 동기 및 목표

• 목표 언어에서 직접적인 학습 데이터가 없더라도, 어떤 언어에서나 표준화 생성을 가능하게 하기 위해.
• 기존 방법들이 이미 코퍼스에 존재하는 언어에 대해서만 위키백과 데이터를 활용한다는 한계를 해결하기 위해.
• 목표 작업에 맞는 언어 유사도 측정 기준을 개발하여, 위키백과 언어 중에서 가장 적합한 대체 학습 자료로 삼을 수 있는 언어를 순위 매기기 위해.
• 대체 언어 선택 전략이 사전에 최적의 언어를 알고 있는 오라클보다도 성능을 뛰어나게 할 수 있음을 보여주기 위해.

제안 방법

• 131개의 위키백과 언어(최소 200개의 이름 쌍 포함)를 잠재적 대체 언어로 간주하며, 집합 $\mathcal{W}$ 로 표기한다.
• 모든 텍스트는 uroman을 사용해 로마자로 표준화하여, 이질적 철자 간 학습 및 테스트를 가능하게 한다.
• 언어 유사도는 세 가지 지표로 계산된다: 철자 분포 유사도(문자 히스토GRAM의 코사인 유사도), 발음 체계 유사도(F1 점수, IPA 발음 기호 기반), 그리고 표준화 모델에서 학습된 임베딩 기반 유사도.
• 가장 높은 유사도 점수를 기록한 대체 언어를 선정하고, 영어–대체 언어 쌍을 기반으로 표준화 모델을 학습하여 목표 언어 $T$ 로의 표준화를 생성한다.
• 성능 향상을 위해 상위 여러 대체 언어를 사용하여 각 모델의 n-best 목록을 가중치 투표 방식으로 통합한다.
• 평가에서는 9개의 저자원 목표 언어에서 평균 역수 순위(MRR)를 사용하며, 목표 언어 자체를 후보 순위에서 제외하여 저자원 조건을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 위키백과에서 유사한 언어를 대체 자료로 사용하여, 목표 언어 자체로 학습한 모델과 동일한 성능을 내는 표준화 모델을 학습할 수 있는가?
• RQ2 문체, 발음, 학습된 임베딩 기반의 다양한 언어 유사도 측정 기준 중 어느 것이 가장 효과적으로 최적의 대체 언어를 선정하는가?
• RQ3 여러 상위 대체 언어의 예측을 조합하면, 가장 우수한 단일 대체 언어나 오라클 성능을 넘어서는가?
• RQ4 보다 단순하고 지식이 적은 문체 유사도 측정 기준이, 더 복잡한 발음 또는 학습된 유사도 측정 기준보다 우수한 성능을 내는가?
• RQ5 목표 언어에 학습 데이터가 전혀 없는 저자원 환경에서, 대체 기반 방법이 오라클 성능을 초월할 수 있는가?

주요 결과

• 문체 유사도가 발음 및 학습된 유사도 측정 기준보다 뛰어나며, 모든 목표 언어에서 평균 MRR가 가장 높았다.
• 상위 예측 대체 언어가 9개의 목표 언어 중 4개에서 오라클의 선택과 일치했고, 성능은 오라클에 근접하게 유지되었다.
• 뉴아르어와 우즈베크어의 경우, 상위 5개의 대체 언어를 조합한 결과 오라클 성능을 초월했으며, MRR 점수는 각각 24.81* 및 44.37*를 기록했다. 이는 일부 경우에서 오라클 성능을 뛰어넘는다는 것을 시사한다.
• 목표 언어 자체로 학습한 경우와 유사하거나 뛰어난 MRR 점수를 달성했으며, 목표 언어에 위키백과 데이터가 전혀 없을 경우에도 성능이 유지되었다.
• 상위 5개 대체 언어에 대한 가중치 투표를 적용한 결과, 9개 언어 중 7개에서 성능 향상이 있었고, 두 경우에서는 오라클 성능을 초월했다.