[논문 리뷰] Can Eye Movement Data Be Used As Ground Truth For Word Embeddings Evaluation?

Amir Bakarov|arXiv (Cornell University)|2018. 04. 23.

Neurobiology of Language and Bilingualism참고 문헌 1인용 수 6

한 줄 요약

이 연구는 암시적 독서 중의 눈동자 움직임 데이터가 어휘 임베딩 평가를 위한 언어에 관계없이 신뢰할 수 있는 기준이 될 수 있는지 조사한다. 영어와 러시아어 눈동자 추적 데이터셋(Provo, GECO, Russian Sentence Corpus)과 국가 및 웹 코퍼스에서 학습된 어휘 벡터를 사용하여, 어휘 임베딩과 눈동자 움직임 패턴 간의 상관관계가 약하고 일관성 없음을 발견하였으며, 이는 다양한 언어에서 어휘 의미를 신뢰할 수 있게 반영한다는 가설에 도전한다.

ABSTRACT

In recent years a certain success in the task of modeling lexical semantics was obtained with distributional semantic models. Nevertheless, the scientific community is still unaware what is the most reliable evaluation method for these models. Some researchers argue that the only possible gold standard could be obtained from neuro-cognitive resources that store information about human cognition. One of such resources is eye movement data on silent reading. The goal of this work is to test the hypothesis of whether such data could be used to evaluate distributional semantic models on different languages. We propose experiments with English and Russian eye movement datasets (Provo Corpus, GECO and Russian Sentence Corpus), word vectors (Skip-Gram models trained on national corpora and Web corpora) and word similarity datasets of Russian and English assessed by humans in order to find the existence of correlation between embeddings and eye movement data and test the hypothesis that this correlation is language independent. As a result, we found that the validity of the hypothesis being tested could be questioned.

연구 동기 및 목표

• 암시적 독서에서의 눈동자 움직임 데이터가 어휘 임베딩 평가를 위한 신뢰할 수 있고 언어에 관계없는 기준이 될 수 있는지 테스트하기.
• 어휘 임베딩과 눈동자 움직임 데이터 간의 상관관계가 영어와 러시아어를 포함한 다양한 언어에서 일관된지 조사하기.
• 고정 지속 시간 및 후진 횟수와 같은 신경인지적 데이터가 분포 기반 의미 모델과 일치하는 방식으로 의미 유사성을 반영하는지 평가하기.
• 국가 코퍼스와 웹 코퍼스에서 학습된 어휘 임베딩의 성능을 두 종류의 언어(형태학적으로 상이한 언어)에서 눈동자 움직임 데이터와 비교하기.
• 내재 평가에서 인간의 어휘 의미를 대체로 사용할 수 있는 눈동자 움직임 데이터의 타당성을 평가하기.

제안 방법

• Provo 코퍼스(영어), GECO(영어), Russian Sentence Corpus(러시아어)에서 눈동자 움직임 데이터를 수집하여 고정 지속 시간과 후진 빈도에 중점을 두었다.
• 러시아 국립 코퍼스와 러시아 웹 코퍼스에서 스위프-그램 어휘 임베딩을 학습하였으며, 영어와 동일한 방식으로 비교를 위해 유사한 영어 코퍼스를 사용하였다.
• 어휘 임베딩 벡터와 눈동자 움직임 데이터(고정 지속 시간과의 상관관계를 통해)를 이용해 대상 어휘와 그 가장 가까운 이웃어휘 간의 어휘 유사도 점수를 계산하였다.
• 스피어만 순위 상관계수를 사용하여 어휘 임베딩 유사도와 눈동자 움직임 기반 유사도 간의 상관관계를 측정하였다.
• 국가 코퍼스 대비 웹 코퍼스에서 학습된 임베딩의 다양한 학습 방식에 따른 상관관계의 안정성을 평가하였다.
• 인간이 애너테이션한 어휘 유사도 데이터셋(SimLex-999, Ruscorpora 등)을 기준으로 비교하였지만, 핵심 평가 지표로 눈동자 움직임과 임베딩 간의 상관관계를 중심으로 둔다.

실험 결과

연구 질문

• RQ1 영어와 러시아어에서 어휘 임베딩과 눈동자 움직임 데이터(예: 고정 지속 시간) 간에 유의미한 상관관계가 존재하는가?
• RQ2 어휘 임베딩과 눈동자 움직임 데이터 간의 상관관계가 다양한 언어 간에 일관되게 유지되는가? 이는 다국어적 타당성을 시사하는가?
• RQ3 국가 코퍼스에서 학습된 임베딩과 웹 코퍼스에서 학습된 임베딩 간에 눈동자 움직임 데이터와의 상관관계에서 어떤 차이가 있는가?
• RQ4 암시적 독서에서의 눈동자 움직임 데이터는 어휘 임베딩의 내재 평가에서 어휘 의미를 신뢰할 수 있는 대체 지표로 간주될 수 있는가?
• RQ5 눈동자 움직임 패턴과 어휘 임베딩 간의 관계가 언어에 따라 달라지며, 이는 이러한 데이터가 보편적인 의미적 구조를 반영하지 못할 수 있음을 시사하는가?

주요 결과

• 영어 및 러시아어 데이터셋 모두에서 어휘 임베딩과 눈동자 움직임 데이터(예: 고정 지속 시간) 간의 상관관계는 약하고 일관성이 없었다.
• 큰 코퍼스에서 고품질의 임베딩을 사용하더라도, 고정 지속 시간이나 후진 횟수와 같은 눈동자 움직임 특성과의 상관관계는 강하거나 안정적이지 않았다.
• 어휘 임베딩과 눈동자 움직임 데이터 간의 상관관계는 무작위 기준 수준을 크게 초월하지 못했으며, 이는 의미 평가 대체 지표로서의 타당성이 제한적임을 시사한다.
• 눈동자 움직임 데이터가 어휘 임베딩 평가를 위한 신뢰할 수 있고 언어에 관계없는 기준이 될 수 있다는 가설을 지지하지 못했다.
• 다양한 언어 간에 일관된 상관관계가 없음으로써, 눈동자 움직임 데이터가 보편적인 어휘 의미를 반영한다는 주장이 흔들렸다.
• 국가 코퍼스에서 학습된 임베딩이 웹 코퍼스에서 학습된 임베딩보다 눈동자 움직임 패턴을 예측하는 데 더 뛰어나다는 증거는 발견되지 않았으며, 이는 눈동자 추적 데이터의 황금 표준으로서의 타당성을 더욱 약화시켰다.