[論文レビュー] Metric distances derived from cosine similarity and Pearson and Spearman correlations

Stijn van Dongen, Anton J. Enright|arXiv (Cornell University)|Aug 14, 2012

Face and Expression Recognition参考文献 4被引用数 74

ひとこと要約

この論文は、特に凹型かつ増加関数である変換を用いて、コサイン類似度、ピアソン相関、スピアマン相関からの距離を測定可能関数を用いて導出する。2つのクラスに分類される：1つは反相関ペア間の距離を最大化する（例：角距離や相関距離）、もう1つは相関ペアと反相関ペアをグループ化する（例：鋭角角距離や絶対相関距離）。両者とも三角不等式を満たす。

ABSTRACT

We investigate two classes of transformations of cosine similarity and Pearson and Spearman correlations into metric distances, utilising the simple tool of metric-preserving functions. The first class puts anti-correlated objects maximally far apart. Previously known transforms fall within this class. The second class collates correlated and anti-correlated objects. An example of such a transformation that yields a metric distance is the sine function when applied to centered data.

研究の動機と目的

• コサイン類似度、ピアソン相関、スピアマン相関から三角不等式を満たす距離を導出すること。
• 相関および類似度測定の変換を、反相関を強調するクラスと、相関および反相関ペアをグループ化する2つの明確なクラスに分類すること。
• 角距離の関数が凹型かつ増加関数を用いて測定可能な性質を保つための条件を確立すること。
• データ解析、クラスタリング、インデックス化アルゴリズムに適用可能な数学的に厳密な測定可能関数変換を提供すること。

提案手法

• コサイン類似度、ピアソン相関、スピアマン相関のいずれかを表す $ A $ を用いて、基本的な距離として角距離 $ d_1(x,y) = \arccos(A(x,y)) $ を使用する。
• 区間 $[0, \pi]$ 上で凹型かつ増加関数である測定可能関数を適用し、角距離を新たな測定可能距離に変換する。
• 相関距離 $ d_2(x,y) = \sqrt{\frac{1}{2}(1 - A(x,y))} $ を導出し、これは $ \sin(\frac{1}{2}\theta) $ に等価であり、距離の順序付けを保つ測定可能距離である。
• 鋭角角距離 $ d_3(x,y) = \frac{1}{2}\pi - \left|\frac{1}{2}\pi - \theta\right| $ および絶対相関距離 $ d_4(x,y) = \sqrt{1 - A(x,y)^2} $ を導入し、これらは第2の測定可能距離クラスを形成する。
• 凹型関数の劣加法性が変換によって三角不等式が保たれることを証明する。
• 厳密に凸関数（例：$ g(x) = 1 - \cos(x) $）は三角不等式を破るため、有効な距離を生成しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 コサイン類似度および相関係数のどの変換が三角不等式を満たす有効な距離を生成するか？
• RQ2 測定可能関数を用いて、既存の相関および類似度測定から新たな距離測定をどのように導出できるか？
• RQ3 2つの距離測定クラスの違いは何か：1つは反相関ペアを分離し、もう1つは相関および反相関ペアをグループ化する。
• RQ4 なぜ $ 1 - \cos(\theta) $ のような関数は角距離から導出されても三角不等式を保証しないのか？
• RQ5 導出された距離はどの程度順序的に同等であり、それがデータ解析における使用にどのように影響するか？

主な発見

• 任意の相関または類似度測定 $ A \in [-1,1] $ に対して、角距離 $ \arccos(A(x,y)) $ は有効な距離である。
• 相関距離 $ \sqrt{\frac{1}{2}(1 - A(x,y))} $ は、反相関ペア間の距離を最大にする測定可能距離である。
• 鋭角角距離 $ \frac{1}{2}\pi - \left|\frac{1}{2}\pi - \theta\right| $ および絶対相関距離 $ \sqrt{1 - A(x,y)^2} $ は、相関および反相関ペアを対称的に扱う第2の測定可能距離クラスを形成する。
• 区間 $[0, \epsilon]$ で厳密に凸であり、$ f(0) = 0 $ を満たす関数は、反例として $ g(x) = 1 - \cos(x) $ を用いて三角不等式を破る。
• すべての導出された距離は角距離と順序的に同等であり、ペアワイズ類似度の順序を保つ。
• 凹型関数の合成、例えば $ f_5(x) = \sin(x)^p $（$ 0 < p \leq 1 $）も、有効な測定可能距離を生成する。