[논문 리뷰] Addressing Cross-Lingual Word Sense Disambiguation on Low-Density Languages: Application to Persian

Navid Rekabsaz, Mihai Lupu외 2명|arXiv (Cornell University)|2017. 11. 16.

Natural Language Processing Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 어휘 임베딩과 번역어 및 문맥어 간의 의미 유사도를 이용하여 자원이 적은 언어를 위한 비지도 교차언어적 어휘의미해석(unsupervised cross-lingual word sense disambiguation, CL-WSD) 방법을 제안한다. 이는 영어-페르시아어 CL-WSD 벤치마크에서 표준 기준점 및 최신 기술인 CO-Graph 시스템을 모두 능가하며, OOF 설정에서는 F-측정치 0.502, Best 설정에서는 0.188를 기록한다.

ABSTRACT

We explore the use of unsupervised methods in Cross-Lingual Word Sense Disambiguation (CL-WSD) with the application of English to Persian. Our proposed approach targets the languages with scarce resources (low-density) by exploiting word embedding and semantic similarity of the words in context. We evaluate the approach on a recent evaluation benchmark and compare it with the state-of-the-art unsupervised system (CO-Graph). The results show that our approach outperforms both the standard baseline and the CO-Graph system in both of the task evaluation metrics (Out-Of-Five and Best result).

연구 동기 및 목표

• 영어나 페르시아어처럼 자원이 부족한 언어에서 어휘의미해석 문제를 해결한다. 이는 충분한 병렬 어휘자료와 지식 자원이 부족하기 때문이다.
• 단일어어휘자료와 双어어휘사전에만 의존하는 비지도 CL-WSD 방법을 개발하여 자원 부족 문제를 해결한다.
• 새로 구축된 영어-페르시아어 CL-WSD 벤치마크를 이용해 제안된 방법의 성능을 평가하여 자원이 적은 환경에서의 성능을 점검한다.
• 외부 지식이나 병렬 데이터에 의존하지 않고도 어휘 임베딩 기반의 의미 유사도가 CL-WSD 성능 향상에 얼마나 효과적인지 입증한다.

제안 방법

• 목적어(페르시아어)의 어휘 임베딩을 사용하여, 번역 후보어와 문맥어 간의 의미 유사도를 벡터 표현의 코사인 유사도를 통해 계산한다.
• 다중어로 구성된 페르시아어 번역어 중에서 목표어와의 최대 코사인 유사도를 계산하는 일반화된 유사도 함수를 정의한다.
• ContextVec 알고리즘을 적용하여 각 문맥어에서 가장 유사한 번역 벡터들을 통합하여 단일한 문맥 벡터 표현을 생성한다.
• 두 가지 집계 전략—RelAgg(정규화된 벡터 합산)와 RelGreedy(유사도가 가장 높은 번역어를 탐욕적으로 선택)—을 사용하여 문맥 연관성 점수를 계산한다.
• 유사도 계산에 번역 빈도를 확률 가중치 $ P(t) $ 로 통합하여 더 흔한 번역어를 우선시한다.
• 이중어어휘사전과 품사 태깅된 문맥어(명사 및 동사)를 활용하여 영어의 모호한 어휘어에 대한 번역어 집합을 생성하고, 이를 페르시아어로 매핑한다.

실험 결과

연구 질문

• RQ1 어휘 임베딩과 의미 유사도에 기반한 비지도 CL-WSD 접근법이 페르시아어와 같은 자원이 적은 환경에서 기존 최신 기술 시스템을 능가할 수 있는가?
• RQ2 단일어어휘자료와 단순한 이중어어휘사전의 사용이 CL-WSD에서 대규모 병렬 어휘자료나 지식 기반 시스템의 필요성을 대체할 수 있는가?
• RQ3 문맥 기반 어휘 임베딩과 유사도 집계 전략이 새로운 영어-페르시아어 벤치마크에서 의미해석 정확도 향상에 얼마나 기여하는가?
• RQ4 의미 주제가 모호한 어휘어와 문맥어 간에 일치하지 않을 경우, 문맥 기반의 백오브워즈 접근법의 한계는 무엇인가?

주요 결과

• 제안된 RelAgg 방법은 OOF 평가 설정에서 F-측정치 0.502를 기록하여 표준 기준점(0.418)과 CO-Graph(0.441)을 뚜렷이 앞서갔다.
• 더 어려운 Best 평가 설정에서는 RelAgg 방법이 F-측정치 0.188을 기록하여 표준 기준점(0.158)과 CO-Graph(0.174)를 초월했다.
• RelAgg와 RelGreedy 방법은 유사한 성능을 보였으며, OOF 설정에서는 RelAgg가 略로 뛰어나, 벡터 집계의 강건성을 시사한다.
• 'mood'과 'side'와 같은 어휘어에서는 모든 시스템(포함해 제안된 방법)이 어휘어의 의미와 문맥어 간의 의미 일치가 약하기 때문에 어려움을 겪었다. 이는 백오브워즈 문맥 모델링의 본질적 한계를 드러낸다.
• 이러한 한계에도 불구하고, 이 방법은 자원이 적은 환경에서 뛰어난 성능을 보이며, 지식 기반 또는 지도 학습 접근법이 자원 부족으로 실패할 수 있는 상황에서 효과적임을 입증한다.
• 결과적으로 어휘 임베딩 기반의 의미 유사도가 병렬 자료나 지식 자원이 없는 경우, 저밀도 언어에서 CL-WSD에 실현 가능하고 효과적인 대안임을 확인한다.