[논문 리뷰] Comparing in context: Improving cosine similarity measures with a metric tensor

Isa M. Apallius de Vos, Ghislaine L. van den Boogerd외 2명|arXiv (Cornell University)|2022. 03. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사전에 학습된 임bedding을 수정하지 않고도 코사인 유사도를 향상시키기 위해 맥락에 민감한 메트릭 텐서를 제안한다. 이는 맥락 기반 내적을 학습함으로써 단어 유사도 상관관계를 향상시키며, 특히 BERT와 같은 컨텍스트 기반 모델에서 뚜렷한 성능 향상을 보이며, 새로운 데이터셋에 대한 일반화 능력과 학습된 동적 유사도 메트릭을 통한 해석 가능성 향상을 입증한다.

ABSTRACT

Cosine similarity is a widely used measure of the relatedness of pre-trained word embeddings, trained on a language modeling goal. Datasets such as WordSim-353 and SimLex-999 rate how similar words are according to human annotators, and as such are often used to evaluate the performance of language models. Thus, any improvement on the word similarity task requires an improved word representation. In this paper, we propose instead the use of an extended cosine similarity measure to improve performance on that task, with gains in interpretability. We explore the hypothesis that this approach is particularly useful if the word-similarity pairs share the same context, for which distinct contextualized similarity measures can be learned. We first use the dataset of Richie et al. (2020) to learn contextualized metrics and compare the results with the baseline values obtained using the standard cosine similarity measure, which consistently shows improvement. We also train a contextualized similarity measure for both SimLex-999 and WordSim-353, comparing the results with the corresponding baselines, and using these datasets as independent test sets for the all-context similarity measure learned on the contextualized dataset, obtaining positive results for a number of tests.

연구 동기 및 목표

• 표준 유클리드 내적 대신 학습 가능한 메트릭 텐서를 사용하여 코사인 유사도의 표준 유클리드 내적을 대체함으로써 단어 유사도 평가를 향상시키는 것.
• 컨텍스트 기반 단어 쌍 데이터셋에서 학습한 맥락 특화 유사도 측정법이 정적 기준 모델보다 더 높은 성능을 내는지 조사하는 것.
• 학습된 유사도 메트릭이 관련 없는 데이터셋으로 일반화되는지 확인하여 다양한 단어 쌍 맥락 간의 전이 가능성 테스트하는 것.
• 임베딩 재학습 없이 메트릭 학습을 분리함으로써 유사도 계산의 해석 가능성과 효율성을 향상시키는 것.
• 학습된 메트릭을 조합적 분포적 의미론 및 텐서 수축 프레임워크에 통합하는 것 탐색하기

제안 방법

• 대칭 정부호 정의된 메트릭 텐서 G를 사용한 일반화된 코사인 유사도를 도입하여 표준 유클리드 내적 대신 ⟨u,v⟩_G = u^T G v 를 사용한다.
• 인간 평가 점수와의 상관관계 최적화를 통해 컨텍스트 기반 단어 쌍 유사도 데이터셋(예: 초위어 관계)에서 메트릭 텐서 G를 학습한다.
• 예를 들어 '새', '물고기'와 같은 초위어 데이터셋을 통합하여 교차 맥락 유사도 패턴을 포괄하는 데이터셋을 학습한다.
• 학습된 메트릭을 독립적인 테스트 세트(예: SimLex-999, WordSim-353)에 적용하여 제로샷 일반화 성능을 평가한다.
• 동일한 사전에 학습된 임베딩(예: BERT, GPT-2, Word2Vec)을 사용하여 표준 코사인 유사도와 메트릭 텐서 향상된 유사도 버전의 성능을 비교한다.
• 성능 향상을 평가하기 위해 피어슨 상관계수와 스피어만 순위 상관계수를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 임베딩을 재학습하지 않고도 맥락에 민감한 메트릭 텐서가 단어 유사도 벤치마크에서 코사인 유사도 성능을 향상시킬 수 있는가?
• RQ2 초위어 관계와 같은 컨텍스트 기반 데이터셋에서 메트릭을 학습하면, WS353, SL999와 같은 관련 없는 단어 쌍에서 학습한 경우보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 한 집합의 단어 쌍에서 학습한 메트릭이 SimLex-999와 WordSim-353와 같은 독립적이고 관련 없는 데이터셋으로 얼마나 잘 일반화되는가?
• RQ4 다양한 사전에 학습된 임베딩 모델(예: BERT, GPT-2, Word2Vec)에서 메트릭 텐서 방법의 성능는 어떻게 비교되는가?
• RQ5 모델 아키텍처와 맥락 다양성이 학습된 메트릭 텐서의 안정성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• BERT 임베딩을 사용하여 SimLex-999와 WordSim-353에서 평가한 결과, 메트릭 텐서 방법이 유의미하게 상관계수를 향상시켰으며, 피어슨 상관계수 0.487, 스피어만 순위 상관계수 0.519를 기록하여 기준값(0.239, 0.267)보다 향상되었다.
• 모든 초위어에서 학습한 최고의 모델은 독립적인 데이터셋으로 잘 일반화되었으며, BERT의 SimLex-999에서 상관계수 100% 향상(기준 0.151 → 0.375)을 보였다.
• 컨텍스트 기반 표현(예: BERT)은 메트릭 학습 후 상대적 향상도가 가장 높았으며, SimLex-999에서 상관계수 100% 증가를 기록하여 임베딩과 유사도 측정법 양쪽에서 맥락의 누적적 이점이 있음을 시사했다.
• 초위어에서 학습한 모델는 개별 초위어 기반 모델보다 성능이 뛰어나, 학습 중 다양한 맥락에 노출됨으로써 일반화 및 전이 학습 능력 향상이 이루어졌음을 시사했다.
• 최고의 모델을 사용할 경우 SimLex-999(피어슨 상관계수 0.658)와 WordSim-353(피어슨 상관계수 0.704)에서 최신 기술(SOTA) 성능을 달성하여 이전 최고 성능를 초월했다.
• 학습된 메트릭 하에서 단어 벡터의 분포는 더 선형적이고 집중되어 있었으며, 이는 메트릭이 벡터 공간 내 의미 관계를 효과적으로 정렬했음을 나타낸다.