[논문 리뷰] Evaluating vector-space models of analogy

Dawn Chen, Joshua C. Peterson외 1명|arXiv (Cornell University)|2017. 05. 12.

Cognitive Science and Education Research참고 문헌 14인용 수 31

한 줄 요약

이 논문은 word2vec과 GloVe와 같은 현대 단어 임베딩에서 유사성의 평행사다리 모델을 평가하며, 인간의 판단과 비교하여 관련성 유사성 예측 능력을 검토한다. 모델은 일부 의미 관계를 잘 포착하지만, 삼각부등식과 같은 기하학적 제약 조건 위반(예: 인간의 기하학적 제약 위반)을 재현하지 못함으로써 인간 유사성 추론을 모델링하는 데 근본적인 한계를 드러낸다.

ABSTRACT

Vector-space representations provide geometric tools for reasoning about the similarity of a set of objects and their relationships. Recent machine learning methods for deriving vector-space embeddings of words (e.g., word2vec) have achieved considerable success in natural language processing. These vector spaces have also been shown to exhibit a surprising capacity to capture verbal analogies, with similar results for natural images, giving new life to a classic model of analogies as parallelograms that was first proposed by cognitive scientists. We evaluate the parallelogram model of analogy as applied to modern word embeddings, providing a detailed analysis of the extent to which this approach captures human relational similarity judgments in a large benchmark dataset. We find that that some semantic relationships are better captured than others. We then provide evidence for deeper limitations of the parallelogram model based on the intrinsic geometric constraints of vector spaces, paralleling classic results for first-order similarity.

연구 동기 및 목표

• 현대 벡터 공간 모델(woed2vec, GloVe)이 구어적 유사성 유추에서 인간의 관련성 유사성 판단을 얼마나 잘 예측하는지 평가하기 위해.
• 관계가 벡터 차이로 표현되는 평행사다리 모델이 인간의 인지적 유사성 판단을 정확히 반영하는지 조사하기 위해.
• 인간의 관련성 유사성 판단이 벡터 공간 모델을 제약하는 기하학적 제약(예: 삼각부등식)을 위반하는지 검토하기 위해.
• 벡터 공간 모델의 한계가 최적의 임베딩 방법이 아닌 내재된 기하학적 성질에서 기인하는지 규명하기 위해.

제안 방법

• 클래스 포함, 대비, 부분-전체 등 10종류의 의미 관계 유형에 걸쳐 5,000개의 단어 쌍 비교를 포함한 새로운 데이터셋을 수집하였다.
• 참가자들이 7점 척도에서 유추 품질을 평가하는 인간 평가 작업을 실시하였으며, 1-2, 2-3, 1-3 유형의 12개의 삼단계를 통해 관련성 유사성을 테스트하였다.
• word2vec과 GloVe 임베딩에서 차이 벡터(예: v_queen - v_king) 간의 코사인 유사도를 계산하여 예측된 관련성 유사도를 산출하였다.
• 유추 유형에 따른 영향을 검증하기 위해 인간 평가에 대해 반복측정 ANOVA를 실시하고, 예측된 유사도에 대해 별도의 군 간 ANOVA를 실시하였다.
• tukey HSD 사후 검정을 통해 각 유추 유형(1-2, 2-3, 1-3) 간 평균 평가 및 예측 유사도를 비교하였다.
• 인간 판단에서 기하학적 공리(대칭성, 삼각부등식) 위반 여부를 분석하고, 이를 벡터 공간 모델의 예측과 비교하였다.

실험 결과

연구 질문

• RQ1 word2vec과 GloVe 임베딩이 문장적 유사성 유추에서 인간의 관련성 유사성 판단을 어느 정도 잘 예측하는가?
• RQ2 인간의 관련성 유사성 판단이 삼각부등식과 같은 기하학적 제약 조건을 위반하는가? 만약 그렇다면, 이는 벡터 공간 모델에 어떤 영향을 미치는가?
• RQ3 특정 의미 관계 유형(예: 유사, 부분-전체)에서는 평행사다리 모델이 다른 유형보다 더 잘 작동하는가?
• RQ4 벡터 공간 모델이 인간의 관련성 유사성 판단을 예측하지 못하는 데서 기인하는 원인은 내재된 기하학적 제약 조건에서 비롯되는가?
• RQ5 다른 유추 구조에 대해 word2vec과 GloVe 임베딩의 예측과 인간 평가 간 관련성 유사성의 비교는 어떠한가?

주요 결과

• 인간 평가에서는 유추 유형이 품질에 유의미한 영향을 미쳤으며, 1-2형(M=5.44, SD=.99)과 2-3형(M=5.43, SD=.63)은 1-3형(M=2.99, SD=.46)보다 유의미하게 높게 평가되었고, p<.001이었다.
• 인간 평가에 대한 ANOVA 분석에서 유추 유형에 유의미한 영향이 있었으며, F(2,33)=45.57, p<.001로 참가자들이 유추의 구조에 따라 관련성 유사성을 다르게 인지함을 시사하였다.
• word2vec과 GloVe에서 예측된 관련성 유사도에는 유추 유형에 따른 유의미한 영향이 없었으며, word2vec의 경우 F(2,33)=1.20, p=.31이고, GloVe의 경우 F(2,33)=.24, p=.79였다.
• 12개 삼단계 중 7개에서 예상된 패턴(1-2 및 2-3가 1-3보다 높게 평가됨)이 인간 평가에서 통계적으로 유의미했지만, 이 패턴은 벡터 모델에서 일관되게 예측되지 않았다.
• 인간 판단은 삼각부등식을 위반하였으며, 이는 1-2 및 2-3 유추가 1-3 유추보다 높게 평가되었음에도 불구하고 삼각부등식이 성립한다면 1-3 유추가 가장 유사해야 하는데도 그러지 않았기 때문이다.
• 벡터 공간 모델이 인간의 관련성 유사성 패턴을 재현하지 못하는 데서 기인하는 근본 원인은 삼각부등식과 같은 내재된 기하학적 제약 조건이며, 더 나은 임베딩 방법으로는 이를 극복할 수 없다.