[論文レビュー] Pearson Distance is not a Distance

Victor Solo|arXiv (Cornell University)|Aug 15, 2019

Bayesian Methods and Mixture Models参考文献 10被引用数 14

ひとこと要約

この論文は、広く使われているピアソン距離 $1 - \rho_{xy}$ が三角不等式を満たさないため、メトリックでないことを示しており、クラスタリング応用における有効性を損なう。また、$\sqrt{1 - \rho_{xy}}$ がメトリックであることを証明し、さらに $\sqrt{1 - \rho_{xy}^2}$ もメトリックであることを示す一方で、$1 - |\rho_{xy}|$ はメトリックでないことを明らかにし、頑健な統計的クラスタリングのための修正代替案を提供する。

ABSTRACT

The Pearson distance between a pair of random variables $X,Y$ with correlation $ρ_{xy}$, namely, 1-$ρ_{xy}$, has gained widespread use, particularly for clustering, in areas such as gene expression analysis, brain imaging and cyber security. In all these applications it is implicitly assumed/required that the distance measures be metrics, thus satisfying the triangle inequality. We show however, that Pearson distance is not a metric. We go on to show that this can be repaired by recalling the result, (well known in other literature) that $\sqrt{1-ρ_{xy}}$ is a metric. We similarly show that a related measure of interest, $1-|ρ_{xy}|$, which is invariant to the sign of $ρ_{xy}$, is not a metric but that $\sqrt{1-ρ_{xy}^2}$ is. We also give generalizations of these results.

研究の動機と目的

• ピアソン距離 $1 - \rho_{xy}$ がクラスタリング応用において広く使われているにもかかわらず、三角不等式を満たさないためメトリックでないことを立証すること。
• $\sqrt{1 - \rho_{xy}}$ が有効なメトリックであることを示し、誤ったピアソン距離の使用を是正すること。
• 符号不変の変種 $1 - |\rho_{xy}|$ を分析し、三角不等式を満たさないことを示すこと。
• $\sqrt{1 - \rho_{xy}^2}$ がメトリックであることを証明し、相関に基づく非類似度の頑健な代替案を提供すること。
• メトリック保存関数および正定値類似度行列を用いた理論的基盤を提示し、より広範な適用可能性を確保すること。

提案手法

• 平均0、分散1の確率変数を用いた初等的な反例を用い、$1 - \rho_{xy}$ および $1 - |\rho_{xy}|$ が三角不等式を破ることを示す。
• 恒等式 $\sqrt{E[(X-Y)^2]} \leq \sqrt{E[(X-Z)^2]} + \sqrt{E[(Z-Y)^2]}$ を用いて、$\sqrt{1 - \rho_{xy}}$ が三角不等式を満たすことを証明する。
• 相関 $\rho_{ij}^2$ を持つ独立な確率的ベクトル $X_k, Y_k$ の構成を用い、$\sqrt{1 - \rho_{xy}^2}$ がメトリックであることを示す。
• メトリック保存関数の結果を適用：$x^2$ のような強い凸関数はメトリックを保存しないが、$\sqrt{x}$ のような凹型で単調増加の関数は保存する。
• GowerとLegendre（1986）の結果を応用：類似度行列 $[s_{ij}]$ が正定値であれば、$\sqrt{1 - s_{ij}}$ はメトリックである。
• 関数 $g(d) = 1 - \sqrt{1 - d^2}$ の2階微分を分析し、厳密な凸性を示し、$1 - |\rho_{xy}|$ がメトリックでないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 ピアソン距離 $1 - \rho_{xy}$ はクラスタリング応用において有効なメトリックか？
• RQ2 変換 $\sqrt{1 - \rho_{xy}}$ は三角不等式を満たし、したがってメトリックとして適切か？
• RQ3 符号不変の非類似度 $1 - |\rho_{xy}|$ はメトリックか？ もし非適切であれば、どのような修正でメトリック性が回復するか？
• RQ4 $\sqrt{1 - \rho_{xy}^2}$ は三角不等式を満たし、相関に基づく非類似度の頑健な代替案として機能するか？
• RQ5 メトリック保存関数から得られる一般原則は、なぜ相関に基づく距離の特定の変換がメトリック性を保持するか、または失うかを説明できるか？

主な発見

• ピアソン距離 $1 - \rho_{xy}$ は、$\theta \in [0, \pi/4]$ の反例により、三角不等式を破り、したがってメトリックでないことが明確にされた。
• 変換距離 $\sqrt{1 - \rho_{xy}}$ は三角不等式を満たし、平均0、分散1の確率変数の差の二乗の期待値に関する三角不等式を用いて、メトリックであることが証明された。
• 符号不変の非類似度 $1 - |\rho_{xy}|$ は三角不等式を破り、$\theta \in [\pi/6, \pi/4]$ で確認された。これは根本的な構造的欠陥を示している。
• $\sqrt{1 - \rho_{xy}^2}$ はメトリックである。これは、相関 $\rho_{ij}^2$ を持つ独立な確率的ベクトルの構成と、GowerとLegendreの結果の適用により証明された。
• $g(d) = 1 - \sqrt{1 - d^2}$ は厳密に凸であるため、$1 - |\rho_{xy}|$ がメトリックでないことが確認された。なぜなら、メトリックの凸変換はメトリック性を保存しないからである。
• $f(x) = \sqrt{x}$ を $\sqrt{1 - \rho_{xy}}$ に適用すると、$(1 - \rho_{xy})^{1/4}$ が得られ、$f$ の凹型および単調増加性により、これは有効なメトリックである。