[논문 리뷰] Evaluation of Croatian Word Embeddings

Lukáš Svoboda, Slobodan Beliga|arXiv (Cornell University)|2017. 11. 06.

Natural Language Processing Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 13.7억 토큰으로 훈련된 Word2Vec 및 fastText 모델을 비교하기 위해 새로 제작한 데이터셋—크로아티아어 WordSim353, RG65, 그리고 115,085개의 어휘 유형을 포함한 강력한 어휘 유형 어울림 코퍼스—을 사용하여 크로아티아어 단어 임베딩을 평가한다. 결과적으로 모델들이 의미 있는 표현을 생성하지만, 크로아티아어의 높은 형태소적 복잡성과 자유로운 어순으로 인해 영어에 비해 성능이 떨어지며, 슬라브어 언어의 언어 특화 모델 개선이 필요함을 시사한다.

ABSTRACT

Croatian is poorly resourced and highly inflected language from Slavic language family. Nowadays, research is focusing mostly on English. We created a new word analogy corpus based on the original English Word2vec word analogy corpus and added some of the specific linguistic aspects from Croatian language. Next, we created Croatian WordSim353 and RG65 corpora for a basic evaluation of word similarities. We compared created corpora on two popular word representation models, based on Word2Vec tool and fastText tool. Models has been trained on 1.37B tokens training data corpus and tested on a new robust Croatian word analogy corpus. Results show that models are able to create meaningful word representation. This research has shown that free word order and the higher morphological complexity of Croatian language influences the quality of resulting word embeddings.

연구 동기 및 목표

• NLP 분야에서 크로아티아어 단어 임베딩 평가 자원의 부족을 해결하기 위해.
• 의미적 및 문법적 평가를 위한 언어 특화 데이터셋—크로아티아어 WordSim353, RG65, 대규모 어휘 유형 어울림 코퍼스—을 제작하기 위해.
• 형태소적으로 복잡하고 어순이 자유로운 고도로 변화형이 많은 슬라브어 언어인 크로아티아어에서 Word2Vec과 fastText의 성능을 비교하기 위해.
• 형태소적 복잡성과 문법적 유연성이 크로아티아어의 단어 임베딩 품질에 미치는 영향을 조사하기 위해.
• 미래 연구를 위해 공개 가능한 병렬 영문-크로아티아어 단어 임베딩 데이터셋을 제공하기 위해.

제안 방법

• 크로아티아어 전용 카테고리인 동사-과거형-남성/여성 및 국적-남성/여성 등을 포함한 어휘 유형 어울림 코퍼스를 신규로 제작하여 총 115,085개의 질문을 포함하고, 의미적 및 문법적 타입으로 분류함.
• 기존 영어 어휘 유사도 데이터셋(WordSim353 및 RG65)을 크로아티아어로 번역하여 기본적인 의미 평가를 수행함.
• 크로아티아 위키백과에서 유래한 크로아티아어 단일 언어 코퍼스(13.7억 토큰)를 기반으로 Word2Vec 및 fastText 모델을 훈련함.
• 신규 어휘 유형 어휘 코퍼스와 번역된 유사도 데이터셋을 사용하여 모델을 평가하고, 인간이 평가한 판단과의 상관관계를 측정함.
• 도시-국가, 국가-세계, 통화 등의 카테고리에서 모델의 지식 유지 능력과 형태소 민감도를 평가하기 위해 분석함.
• 형태소적 및 문법적 차이로 인한 성능 격차를 드러내기 위해 결과를 영어 기준 벤치마크와 비교함.

실험 결과

연구 질문

• RQ1 새로 제작된 종합적인 어휘 유형 어휘 코퍼스를 기반으로, Word2Vec과 fastText는 크로아티아어 단어 임베딩에서 어떻게 성능을 보이는가?
• RQ2 크로아티아어의 형태소적 복잡성과 자유로운 어순이 학습된 단어 표현의 품질에 어느 정도 영향을 미치는가?
• RQ3 크로아티아어에서 의미적 및 문법적 어휘 유형 작업의 성능은 영어와 비교해 어떻게 되는가? 특히 과거형 동사 쌍과 성별 기반 어휘 쌍에서의 성능은?
• RQ4 모델은 크로아티아어에서 도시-국가 및 주-수도 관계를 효과적으로 포착할 수 있는가? 그리고 훈련 데이터 커버리지가 이에 어떻게 영향을 미치는가?
• RQ5 어휘 형태 빈도(예: 남성형 대비 여성형 형태)는 성별 및 변형 어휘 유형 유형에서의 모델 성능에 어떤 역할을 하는가?

주요 결과

• 크로아티아어 어휘 유형 어휘 코퍼스는 총 12개 카테고리에 걸쳐 115,085개의 질문을 포함하며, 의미적 질문 36,880개와 문법적 질문 78,205개로 구성되어 있어 의미적 및 문법적 관계의 강력한 평가가 가능하다.
• 문법적 어휘 유형, 특히 과거형 동사 쌍에서 상대적으로 높은 성능을 기록함—슬라브어 언어가 영어보다 더 규칙적인 변형 패턴을 가질 수 있음을 시사함.
• 도시-국가와 같은 의미적 카테고리에서는 훈련 데이터에 관련 엔티티(예: 크로아티아 도시)가 포함된 경우 높은 성능를 보였지만, 미국 주와 같은 미반영된 주제에서는 성능이 크게 떨어짐.
• 통화 카테고리는 모든 모델에서 일관되게 낮은 성능를 보였으며, 이는 추상적 또는 희귀한 의미 관계를 모델링하는 데 일반적인 약점이 있음을 시사함.
• 크로아티아어 데이터로 훈련된 모델은 유사도 작업에서 비교 가능한 영어 모델보다 낮은 상관관계 점수를 기록함—형태소적 복잡성과 관련된 성능 격차를 반영함.
• 남성형 어휘 형태에서의 성능이 여성형 어휘 형태보다 높았으며, 이는 훈련 데이터에서 남성형 어휘 형태의 빈도가 더 높기 때문에 성별 어휘 유형 정확도에 영향을 미침.