[論文レビュー] Surpassing Cosine Similarity for Multidimensional Comparisons: Dimension Insensitive Euclidean Metric

Federico Tessari, Yao, Kunpeng+1 more|arXiv (Cornell University)|Jul 11, 2024

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、次元数に依存しないユークリッド距離（DIEM）という新しい類似性測定法を紹介する。この測定法は、コサイン類似度に内在する次元数バイアスを克服するため、ベクトルの長さと方向を次元に依存しない方法で正規化することで、高次元空間においても解釈可能性を保つ。DIEMは多次元比較において優れたロバスト性と一貫性を示し、理論的分析および大規模言語モデルへの応用において、コサイン類似度を上回る性能を発揮する。

ABSTRACT

Advances in computational power and hardware efficiency have enabled tackling increasingly complex, high-dimensional problems. While artificial intelligence (AI) achieves remarkable results, the interpretability of high-dimensional solutions remains challenging. A critical issue is the comparison of multidimensional quantities, essential in techniques like Principal Component Analysis. Metrics such as cosine similarity are often used, for example in the development of natural language processing algorithms or recommender systems. However, the interpretability of such metrics diminishes as dimensions increase. This paper analyzes the effects of dimensionality, revealing significant limitations of cosine similarity, particularly its dependency on the dimension of vectors, leading to biased and poorly interpretable outcomes. To address this, we introduce a Dimension Insensitive Euclidean Metric (DIEM) which demonstrates superior robustness and generalizability across dimensions. DIEM maintains consistent variability and eliminates the biases observed in traditional metrics, making it a reliable tool for high-dimensional comparisons. An example of the advantages of DIEM over cosine similarity is reported for a large language model application. This novel metric has the potential to replace cosine similarity, providing a more accurate and insightful method to analyze multidimensional data in fields ranging from neuromotor control to machine learning.

研究の動機と目的

• 機械学習およびAI応用における高次元データの解釈の難しさに対処すること。
• 従来の類似性測定法（例：コサイン類似度）に内在する次元数バイアスを特定および解消すること。
• ベクトルの次元数にかかわらず一貫性のある解釈可能性を維持する、強固で一般化可能な測定法を開発すること。
• 主成分分析、自然言語処理、レコメンデーションシステムにおけるコサイン類似度の代替手段として信頼できる代替手段を提供すること。
• 理論的分析および大規模言語モデルにおける実世界の応用を通じて、新測定法の妥当性を検証すること。

提案手法

• DIEM測定法は、高次元空間におけるランダムベクトルの期待長さを考慮した次元に依存しないスケーリング要因を用いて、ベクトル間のユークリッド距離を正規化することで導出される。
• 正規化されたベクトルの大きさと角度の差を組み合わせることで類似性を再定義し、次元数にかかわらず測定値が安定するようにする。
• 標準正規分布のベクトルがd次元空間に存在する際の期待ノルムをモデル化するカイ分布に基づく補正項を導入することで、次元依存バイアスを除去する。
• DIEMは計算効率が高く、既存の機械学習パイプラインと互換性があり、統合に最小限の変更で対応できるように設計されている。
• 測定法は解析的に導出され、理論的境界と合成および実世界のデータセットにおける実証的比較を通じて検証されている。
• 大規模言語モデルを用いた応用を通じて、埋め込み比較における一貫性と解釈可能性の向上が実証された。

実験結果

リサーチクエスチョン

• RQ1 コサイン類似度の性能は、ベクトルの次元数が増加するに従ってどのように劣化するか？
• RQ2 さまざまな次元数において一貫した解釈可能性を維持できる類似性測定法を設計できるか？
• RQ3 ベクトル類似性測定法における次元数バイアスを排除する数学的変換は何か？
• RQ4 特に自然言語処理タスクにおいて、DIEMは高次元埋め込み空間でコサイン類似度と比べてどのように差をつけるか？
• RQ5 DIEMは、実世界の機械学習応用における多次元比較の信頼性をどの程度向上させるか？

主な発見

• DIEMは、高次元空間において類似度を系統的に低く評価するコサイン類似度に内在する次元数バイアスを完全に排除する。
• 測定法は次元数にかかわらず一貫したばらつきを維持し、ベクトル長や次元数に関係なく安定的かつ解釈可能な類似度スコアを保証する。
• 大規模言語モデルへの応用において、DIEMはコサイン類似度よりもより信頼性が高く一貫性のある埋め込み比較を示した。
• 理論的分析により、DIEMの期待値が次元変更に対して不変であることが確認されたのに対し、コサイン類似度はそうではない。
• 合成実験および実世界の自然言語処理タスクにおいて、DIEMはコサイン類似度を上回り、より優れたロバスト性と一般化性能を示した。
• カイ分布に基づく補正因子は、高次元類似性測定法における主なバイアス源であるベクトルノルムを効果的に正規化した。