[논문 리뷰] Separated by an Un-common Language: Towards Judgment Language Informed Vector Space Modeling

Ira Leviant, Roi Reichart|arXiv (Cornell University)|2015. 08. 01.

Topic Modeling참고 문헌 42인용 수 65

한 줄 요약

이 논문은 판단 언어(judgment language, jl)가 인간의 의미적 판단과 벡터 공간 모델(VSM) 성능에 미치는 영향을 조사하며, WordSim353과 SimLex999를 이탈리아어, 독일어, 러시아어로 번역한다. 인간의 평가 점수는 jl에 따라 유의미하게 달라지며, 선형 보간과 CCA를 통한 다국어 VSM 조합이 다양한 언어 간 인간 판단과의 상관관계를 향상시킴으로써, 다국어성은 의미 평가에서 jl에 의존하는 편향을 완화하는 데 기여할 수 있음을 시사한다.

ABSTRACT

A common evaluation practice in the vector space models (VSMs) literature is to measure the models' ability to predict human judgments about lexical semantic relations between word pairs. Most existing evaluation sets, however, consist of scores collected for English word pairs only, ignoring the potential impact of the judgment language in which word pairs are presented on the human scores. In this paper we translate two prominent evaluation sets, wordsim353 (association) and SimLex999 (similarity), from English to Italian, German and Russian and collect scores for each dataset from crowdworkers fluent in its language. Our analysis reveals that human judgments are strongly impacted by the judgment language. Moreover, we show that the predictions of monolingual VSMs do not necessarily best correlate with human judgments made with the language used for model training, suggesting that models and humans are affected differently by the language they use when making semantic judgments. Finally, we show that in a large number of setups, multilingual VSM combination results in improved correlations with human judgments, suggesting that multilingualism may partially compensate for the judgment language effect on human judgments.

연구 동기 및 목표

• 단어 쌍이 제시되는 언어(판단 언어)가 연관성과 유사성에 대한 인간의 의미적 판단에 영향을 미치는지 조사하기 위해.
• 특정 언어로 훈련된 단일 언어 VSM이 그와 동일한 언어에서 이루어진 인간 판단을 가장 잘 예측하는지 검토하기 위해.
• 다국어 VSM 조합이 다양한 판단 언어 간 예측 정확도를 향상시킬 수 있는지 평가하기 위해.
• 다국어 VSM의 성능이 코퍼스 크기 변화와 언어별 특이적 편향에 대해 얼마나 견고한지 평가하기 위해.

제안 방법

• 영어 평가 데이터셋 두 종류—WordSim353(연관성)과 SimLex999(유사성)—을 이탈리아어, 독일어, 러시아어로 번역하여 다국어 판단 세트를 구축하기 위해.
• 모든 목표 언어의 모국어 사용자로부터 CrowdFlower를 통해 인간 평가를 수집하여 평가자 간 일致도와 언어별 패턴을 평가하기 위해.
• 영어, 이탈리아어, 독일어, 러시아어의 유사한 단일 언어 코퍼스를 기반으로 단일 언어 백오브워즈(BOW) 및 word2vec(W2V) 모델을 훈련하기 위해.
• 선형 보간(li)과 공통성상관계분석(CCA)을 사용하여 단일 언어 모델을 조합하여 다국어 벡터 표현을 생성하기 위해.
• 모든 언어 조합에서 예측 점수와 인간 평가 점수 간 피어슨 순위 상관계수를 계산하여 모델 성능을 평가하기 위해.
• 코퍼스 크기 영향을 제어하기 위해 작은 및 큰 훈련 코퍼스를 사용하여 실험을 반복하여 결과의 견고성 확보하기 위해.

실험 결과

연구 질문

• RQ1 판단 언어(jl)가 단어 쌍의 연관성과 유사성에 대한 인간 평가에 유의미하게 영향을 미치는가?
• RQ2 특정 언어로 훈련된 단일 언어 VSM이 그 언어에서 이루어진 인간 판단을 가장 잘 예측하는가?
• RQ3 다국어 VSM 조합 기법이 단일 언어 모델 대비 다양한 판단 언어 간 예측 정확도를 향상시킬 수 있는가?
• RQ4 선형 보간과 CCA와 같은 다국어 조합 기법이 다양한 언어 조합에서 단일 언어 기준 모델 대비 어떻게 성능을 내는가?

주요 결과

• 평가자 간 일致도는 판단 언어 내에서보다 언어 간에서 유의미하게 낮았으며, 이는 단어 연관성과 유사성 판단이 판단 언어에 의해 강하게 영향을 받음을 시사한다.
• 연관성 작업에서는 특정 언어로 훈련된 단일 언어 VSM이 그 언어에서 이루어진 인간 판단과 가장 높은 상관관계를 보였다.
• 유사성 작업에서는 어떤 언어도 일관되게 다른 언어보다 뛰어나지 않았으며, 일부 판단 언어는 모든 단일 언어 모델과 더 높은 상관관계를 보였다.
• 선형 보간을 통한 다국어 VSM 조합은 96개 조합 중 68개(70.8%)에서 단일 언어 모델을 초월하여 성능 향상을 보였으며, 이는 강력한 다국어 일반화 능력을 시사한다.
• 선형 보간을 통해 훈련된 다국어 모델은 68%의 경우에서 단일 언어 보간 모델을 능가했으며, 이는 다국어성 덕분에 판단 언어 편향을 보완할 수 있음을 보여준다.
• CCA 기반 다국어 조합은 SimLex999에서만 성능 향상을 보였고, 모든 언어 조합에서 일관되게 향상되지 않아 선형 보간에 비해 덜 견고한 것으로 나타났다.