[논문 리뷰] Correlation Coefficients and Semantic Textual Similarity

В. К. Железняк, Aleksandar Savkov외 2명|arXiv (Cornell University)|2019. 05. 19.

Topic Modeling참고 문헌 52인용 수 7

한 줄 요약

이 논문은 단어 임베딩에서 코사인 유사도가 통계적으로 피어슨 상관계수와 동일하다는 것을 입증하지만, 임베딩이 정규분포에서 벗어날 경우 부적절하다는 것을 보여준다—특히 GloVe와 평균화된 fastText 벡터에서 그렇다. 대신 비모수적 순위 상관계수(Spearman의 ρ, Kendall의 τ)를 사용할 것을 제안하며, 이는 의미적 텍스트 유사도 벤치마크에서 성능을 크게 향상시킨다. 간단한 평균화된 단어 벡터와 순위 상관계수 조합이 코사인 유사도를 사용하는 최신 딥 러닝 모델과 맞먹거나 뛰어나다.

ABSTRACT

A large body of research into semantic textual similarity has focused on constructing state-of-the-art embeddings using sophisticated modelling, careful choice of learning signals and many clever tricks. By contrast, little attention has been devoted to similarity measures between these embeddings, with cosine similarity being used unquestionably in the majority of cases. In this work, we illustrate that for all common word vectors, cosine similarity is essentially equivalent to the Pearson correlation coefficient, which provides some justification for its use. We thoroughly characterise cases where Pearson correlation (and thus cosine similarity) is unfit as similarity measure. Importantly, we show that Pearson correlation is appropriate for some word vectors but not others. When it is not appropriate, we illustrate how common non-parametric rank correlation coefficients can be used instead to significantly improve performance. We support our analysis with a series of evaluations on word-level and sentence-level semantic textual similarity benchmarks. On the latter, we show that even the simplest averaged word vectors compared by rank correlation easily rival the strongest deep representations compared by cosine similarity.

연구 동기 및 목표

• 텍스트 임베딩의 유사도 측정법으로서 코사인 유사도의 통계적 타당성을 조사하는 것.
• 단어 벡터 분포의 비정규성으로 인해 피어슨 상관계수(따라서 코사인 유사도)가 실패하는 조건을 규명하는 것.
• 비모수적 순위 상관계수(Spearman의 ρ, Kendall의 τ)를 의미적 텍스트 유사도에 대한 강건한 대체 측정법으로 제안하고 평가하는 것.
• 간단한 평균화된 단어 벡터와 순위 상관계수 조합이 코사인 유사도를 사용하는 복잡한 딥 러닝 모델의 성능을 따라하거나 능가할 수 있음을 보여주는 것.
• 임베딩의 분포적 성질에 기반해 적절한 유사도 측정법을 선택하는 통계적 기반을 제공하는 것.

제안 방법

• 각 단어나 문장 임베딩을 스칼라 랜덤 변수에서 300개의 관측치 샘플로 간주하여 통계 분석을 가능하게 한다.
• 코사인 유사도가 쌍체의 임베딩 벡터에서 피어슨 상관계수와 수학적으로 동일하다는 것을 입증한다.
• 정규 Q-Q 플롯과 통계적 검정을 사용하여 다양한 모델(Word2Vec, fastText, GloVe)의 임베딩 분포의 정규성 여부를 평가한다.
• 정규성 가정 위반 시 코사인 유사도를 스피어만의 순위 상관계수(ρ)와 켄달의 타우(τ)로 대체한다.
• 평균화된 단어 벡터에서 코사인 유사도와 순위 상관계수를 모두 사용하여 표준 STS 벤치마크(STS12–STS16)에서 성능을 평가한다.
• 성능 차이의 통계적 유의성을 평가하기 위해 편향 보정 백스태핑(BCa) 신뢰구간을 적용한다.

실험 결과

연구 질문

• RQ1 모든 종류의 사전 학습된 단어 임베딩에 대해 코사인 유사도가 통계적으로 정당한가, 아니면 특정 조건에서 실패하는가?
• RQ2 임베딩 분포가 얼마나 비정규성에서 벗어나며, 이는 피어슨 상관계수가 유사도 측정법으로서의 타당성에 어떤 영향을 미치는가?
• RQ3 정규성 가정 위반 시 비모수적 순위 상관계수(Spearman의 ρ, Kendall의 τ)가 코사인 유사도보다 더 강건한 대체 측정법이 될 수 있는가?
• RQ4 간단한 문장 표현(예: 평균화된 단어 벡터)과 순위 상관계수 조합이 코사인 유사도를 사용하는 복잡한 딥 러닝 모델을 능가할 수 있는가?
• RQ5 단어 임베딩의 어떤 통계적 성질이 유사도 측정법 간 성능 차이를 설명하는가?

주요 결과

• 코사인 유사도는 수학적으로 피어슨 상관계수와 동일하며, 이는 임베딩 분포가 약간 정규분포일 때만 타당하다.
• 비정규성과 이상치가 두드러지는 GloVe 임베딩과 평균화된 fastText 벡터에서는 피어슨 상관계수(따라서 코사인 유사도)의 성능이 떨어진다.
• 임베딩이 정규성에서 벗어날 경우 스피어만의 ρ와 켄달의 τ가 STS 작업에서 코사인 유사도를 뛰어나며, STS15의 트윗-뉴스 서브태스크에서 최대 13.98점의 향상을 보였다.
• 간단한 평균화된 단어 벡터를 순위 상관계수로 비교한 결과, 코사인 유사도를 사용하는 최신 딥 러닝 모델과 유사한 성능을 보였으며, 예를 들어 STS16의 플라그리즘 서브태스크에서 76.46점 대비 75.12점의 성능을 기록했다.
• 95% BCa 신뢰구간은 여러 서브태스크에서 순위 상관계수의 통계적 유의미한 향상을 보여주었으며, STS16의 플라그리즘 서브태스크에서는 12.69–23.74점의 향상이 있었다.
• 본 연구는 단어 임베딩의 학습 절차—특히 비지도 학습 목표—가 비정규성에 기여할 수 있음을 드러내었지만, 정확한 원인은 아직 완전히 이해되지 않았다.