[논문 리뷰] Japanese-Spanish Thesaurus Construction Using English as a Pivot

Jessica C. Ramírez, Masayuki Asahara외 1명|arXiv (Cornell University)|2013. 03. 06.

Natural Language Processing Techniques참고 문헌 7인용 수 9

한 줄 요약

이 논문은 영어를 피벗으로 사용하여 일본어-스페인어-영어 다국어 동의어사전을 자동으로 구축하는 방법을 제시한다. 위키백과 번역 쌍과 워드넷을 활용하여 의미 해석을 수행하며, 벡터 공간 모델링과 위키백과의 카테고리 정보를 결합하여 고품질의 정렬을 달성한다. 그 결과, 25,375개의 항목을 포함한 동의어사전을 구축하였으며, 이는 자원이 적은 언어 쌍에 대한 기계 번역 등의 자연어 처리 작업을 향상시킨다.

ABSTRACT

We present the results of research with the goal of automatically creating a multilingual thesaurus based on the freely available resources of Wikipedia and WordNet. Our goal is to increase resources for natural language processing tasks such as machine translation targeting the Japanese-Spanish language pair. Given the scarcity of resources, we use existing English resources as a pivot for creating a trilingual Japanese-Spanish-English thesaurus. Our approach consists of extracting the translation tuples from Wikipedia, disambiguating them by mapping them to WordNet word senses. We present results comparing two methods of disambiguation, the first using VSM on Wikipedia article texts and WordNet definitions, and the second using categorical information extracted from Wikipedia, We find that mixing the two methods produces favorable results. Using the proposed method, we have constructed a multilingual Spanish-Japanese-English thesaurus consisting of 25,375 entries. The same method can be applied to any pair of languages that are linked to English in Wikipedia.

연구 동기 및 목표

• 일본어-스페인어 자연어 처리를 위한 다국어 자원 부족 문제를 해결하기 위해.
• 무료로 이용 가능한 자원을 활용하여 삼국어 동의어사전을 자동으로 구축하는 방법을 개발하기 위해.
• 영어를 피벗 언어로 활용하여 일본어와 스페인어 간의 번역 품질과 의미 정렬을 향상시키기 위해.
• 위키백과 텍스트와 카테고리 메타데이터를 사용하여 의미 해석 기법을 평가하고 비교하기 위해.
• 위키백과에서 영어를 통해 연결된 어떤 언어 쌍에도 적용 가능한 재사용 가능한 프레임워크를 제작하기 위해.

제안 방법

• 다국어 위키백과 페이지에서 번역 쌍을 추출하여 잠재적인 일본어-스페인어 어휘 쌍을 식별한다.
• 각 어휘 쌍을 워드넷의 의미에 매핑하여 의미 모호성을 해결하기 위해 의미 해석 기법을 적용한다.
• 위키백과 기사 텍스트와 워드넷 정의에 벡터 공간 모델링(VSM)을 적용하여 의미 유사도를 계산하고 의미 해석을 수행한다.
• 위키백과 카테고리 링크 등의 카테고리 정보를 통합하여 의미 해석 정확도를 향상시킨다.
• VSM 기반과 카테고리 기반 의미 해석 결과를 하이브리드 방식으로 융합하여 전체 성능을 향상시킨다.
• 검증된, 의미가 정렬된 일본어-스페인어 어휘 쌍과 그에 해당하는 영어 등가어를 종합하여 최종 동의어사전을 구축한다.

실험 결과

연구 질문

• RQ1 직접적인 자원이 부족한 상황에서 영어를 피벗 언어로 효과적으로 사용하여 일본어-스페인어 동의어사전을 구축할 수 있는가?
• RQ2 VSM 기반과 카테고리 기반 의미 해석 방법은 일본어와 스페인어 어휘를 영어 워드넷 의미에 정렬하는 데 어떻게 비교되는가?
• RQ3 VSM과 카테고리 정보를 융합하면 단독으로 사용할 경우보다 더 나은 의미 해석 결과를 얻을 수 있는가?
• RQ4 생성된 다국어 동의어사전의 확장성과 품질은 크기와 의미 정확도 측면에서 어떻게 평가되는가?
• RQ5 제안된 방법은 위키백과에서 영어를 통해 연결된 다른 언어 쌍에도 일반화될 수 있는가?

주요 결과

• VSM과 위키백과 카테고리 정보를 융합한 하이브리드 의미 해석 방법은 단독으로 사용할 경우보다 뛰어난 의미 해석 성능을 보였다.
• 최종 동의어사전에는 25,375개의 유효하고 의미가 정렬된 항목이 포함되어 있어 대규모 다국어 동의어사전 구축의 가능성을 입증하였다.
• 위키백과를 번역 쌍의 원천으로 활용함으로써 다국어 어휘 관계를 대규모로 자동으로 추출할 수 있었다.
• 워드넷 기반의 의미 매핑은 의미 모호성을 해결함으로써 다국어 어휘 정렬의 정밀도를 크게 향상시켰다.
• 직접적인 다국어 자원이 제한된 자원이 적은 언어 쌍인 일본어-스페인어에 대해서도 이 방법이 효과적으로 작용함을 입증하였다.
• 이 프레임워크는 일반화 가능하며, 위키백과를 통해 영어와 연결된 어떤 언어 쌍에도 적용할 수 있다.