[논문 리뷰] Surpassing Cosine Similarity for Multidimensional Comparisons: Dimension Insensitive Euclidean Metric

Federico Tessari, Yao, Kunpeng외 1명|arXiv (Cornell University)|2024. 07. 11.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 높은 차원 공간에서 해석 가능성을 유지하면서 차원 수에 민감하지 않은 유사도 측정법인 차원 무관 유클리드 거리 측정법(DIEM)을 소개한다. 이는 기존의 코사인 유사도에서 발생하는 차원 수 편향을 보완하기 위해 벡터 길이와 방향을 정규화하는 방식으로, 높은 유사도 측정의 정확성과 일관성을 향상시킨다. DIEM은 이론적 분석과 대규모 언어 모델에의 응용을 통해 기존 코사인 유사도를 뛰어넘는 뛰어난 강인성과 일관성을 보여준다.

ABSTRACT

Advances in computational power and hardware efficiency have enabled tackling increasingly complex, high-dimensional problems. While artificial intelligence (AI) achieves remarkable results, the interpretability of high-dimensional solutions remains challenging. A critical issue is the comparison of multidimensional quantities, essential in techniques like Principal Component Analysis. Metrics such as cosine similarity are often used, for example in the development of natural language processing algorithms or recommender systems. However, the interpretability of such metrics diminishes as dimensions increase. This paper analyzes the effects of dimensionality, revealing significant limitations of cosine similarity, particularly its dependency on the dimension of vectors, leading to biased and poorly interpretable outcomes. To address this, we introduce a Dimension Insensitive Euclidean Metric (DIEM) which demonstrates superior robustness and generalizability across dimensions. DIEM maintains consistent variability and eliminates the biases observed in traditional metrics, making it a reliable tool for high-dimensional comparisons. An example of the advantages of DIEM over cosine similarity is reported for a large language model application. This novel metric has the potential to replace cosine similarity, providing a more accurate and insightful method to analyze multidimensional data in fields ranging from neuromotor control to machine learning.

연구 동기 및 목표

• 기계 학습 및 인공지능 응용 분야에서 고차원 데이터를 해석하는 데 증가하는 도전 과제를 해결하기 위해.
• 기존의 코사인 유사도와 같은 유사도 측정법에서 발생하는 차원 수 편향을 식별하고 해결하기 위해.
• 벡터 차원에 관계없이 일관된 해석 가능성을 유지하는 강력하고 일반화 가능한 측정법을 개발하기 위해.
• 주성분 분석, 자연어 처리(NLP), 추천 시스템 등에서 코사인 유사도의 신뢰할 수 있는 대체 수단을 제공하기 위해.
• 이론적 분석과 대규모 언어 모델에의 실제 응용을 통해 신규 측정법을 검증하기 위해.

제안 방법

• DIEM 측정법은 고차원 공간에서 임의의 벡터의 기대 길이를 고려한 차원에 영향을 받지 않는 스케일링 인자로 유클리드 거리를 정규화하여 유도된다.
• 정규화된 벡터 크기와 각도 차이를 조합함으로써 유사도를 재정의하여, 다양한 차원에서 안정된 측정값을 유지한다.
• 표준 정규 분포를 따르는 d차원에서의 기대 노름을 모델링하는 카이 분포를 기반으로 한 보정 항을 도입함으로써, 차원 의존적 편향을 제거한다.
• DIEM은 계산 효율성이 뛰어나 있으며 기존의 머신러닝 파이프라인과 호환되며, 통합에 최소한의 수정만 필요로 한다.
• 측정법은 이론적으로 유도되었으며, 이론적 경계 분석과 합성 및 실제 데이터셋에 대한 실증적 비교를 통해 검증되었다.
• 대규모 언어 모델 응용을 통해 평가되었으며, 임bedding 비교에서 더 뛰어난 일관성과 해석 가능성을 입증했다.

실험 결과

연구 질문

• RQ1 벡터 차원 수가 증가함에 따라 코사인 유사도의 성능은 어떻게 악화되는가?
• RQ2 다양한 차원에서 일관된 해석 가능성을 유지하는 유사도 측정법을 설계할 수 있는가?
• RQ3 벡터 유사도 측정법에서 차원 수 편향을 제거할 수 있는 수학적 변환은 무엇인가?
• RQ4 특히 자연어 처리(NLP) 작업에서 DIEM은 고차원 임베딩 공간에서 코사인 유사도와 어떻게 비교되는가?
• RQ5 실제 머신러닝 응용 분야에서 다차원 비교의 신뢰성을 얼마나 향상시키는가?

주요 결과

• DIEM은 고차원 공간에서 시스템적으로 유사도를 과소평가하는 코사인 유사도의 차원 수 편향을 제거한다.
• 측정법은 차원에 관계없이 일관된 변동성을 유지하여, 벡터 길이나 차원 수에 관계없이 안정적이고 해석 가능한 유사도 점수를 보장한다.
• 대규모 언어 모델 응용에서 DIEM은 코사인 유사도보다 더 신뢰할 수 있고 일관성 있는 임베딩 비교를 보여주었다.
• 이론적 분석 결과, DIEM의 기대값은 차원 변화에 관계없이 불변함을 확인하였으며, 코사인 유사도와는 다름을 입증하였다.
• 합성 실험과 실제 NLP 작업 모두에서 DIEM은 코사인 유사도를 뛰어넘는 강인성과 일반화 능력을 보였으며, 향상된 신뢰성과 적용 가능성을 입증하였다.
• 카이 분포를 기반으로 한 보정 인자는 벡터 노름을 효과적으로 정규화하여 고차원 유사도 측정법에서 주요 편향 원인을 제거하였다.