[論文レビュー] Distances between Data Sets Based on Summary Statistics

Nikolaj Tatti|arXiv (Cornell University)|Feb 4, 2019

Bayesian Modeling and Causal Inference参考文献 20被引用数 20

ひとこと要約

本稿では、要約統計量を用いたデータセット同士の比較のための統計的に根拠があり、計算が効率的なCM距離を提案する。この距離は、特徴量の相関を考慮するためのマハラノビス距離の原則を活用しており、一般のデータでは立方時間計算が可能であり、パリティ関数を用いることでバイナリデータでは線形時間評価が可能である。実世界の多様なデータセットにおいて、意味のあるクラスタリングが実証的に示されている。

ABSTRACT

The concepts of similarity and distance are crucial in data mining. We consider the problem of defining the distance between two data sets by comparing summary statistics computed from the data sets. The initial definition of our distance is based on geometrical notions of certain sets of distributions. We show that this distance can be computed in cubic time and that it has several intuitive properties. We also show that this distance is the unique Mahalanobis distance satisfying certain assumptions. We also demonstrate that if we are dealing with binary data sets, then the distance can be represented naturally by certain parity functions, and that it can be evaluated in linear time. Our empirical tests with real world data show that the distance works well.

研究の動機と目的

• データセット間の距離を定義し、それらの統計的類似性を反映するとともに、計算が実行可能であるようにすること。
• 特徴量間の相関を適切に反映し、独立した特徴量の単純化された仮定を避けること。
• 特に高次元または大規模なデータセットにおいて、効率的にスケーリングできる方法を開発すること。
• 実世界のデータに対して距離を実証的に検証し、構造的パターンを明らかにできることを示すこと。
• 特定の統計的仮定を満たす唯一のマハラノビス距離であるという理論的独自性を確立すること。

提案手法

• CM距離は、各データセットの観測された特徴量平均と一致する確率分布の集合の幾何的解釈に基づいて定義される。
• 同じ要約統計量を生成する分布の制約付き集合間の最小マハラノビス距離を計算することで、一意の解が得られる。
• 一般のデータに対しては、N（特徴量の数）を用いてO(N³)の時間で距離が計算可能であり、これは二次計画問題の解法に基づく。
• バイナリデータに対しては、パリティ関数を用いて距離を再定式化し、線形時間での評価が可能になる。
• 特徴関数Sを用いてデータポイントをR^Nにマッピングし、要約統計量はデータセット上の経験的平均として定義される。
• 独立した平均、ペアワイズ相関、頻出アイテムセットといったさまざまな特徴タイプを、モジュラーな特徴セット設計によりサポートする。

実験結果

リサーチクエスチョン

• RQ1 要約統計量の相関を適切に反映するデータセット間の距離を定義できるか？
• RQ2 自然な統計的・幾何的制約を満たす唯一のマハラノビス距離が存在するか？
• RQ3 特に大規模または高次元のデータに対して、距離が効率的に計算できるか？
• RQ4 CM距離は実世界のデータセットにおいて構造的パターンをどのように明らかにするか？
• RQ5 独立した平均や頻度ベースの距離といった単純なベースラインと比較して、CM距離は優れているか？

主な発見

• CM距離は、必要な統計的・幾何的制約を満たす唯一のマハラノビス距離であり、理論的根拠が与えられる。
• 一般のデータではO(N³)時間、バイナリデータではパリティ関数表現を用いてO(N)時間で距離が計算可能である。
• 実証的結果から、CM距離は20Newsgroups、Bible、Beatles、TopGenresといった多様なデータセットにおいて意味のあるクラスタリングを明らかにしている。
• 20NewsgroupsおよびTopDecadesでは、(ind, cov, freq)という特徴セットを用いたCM距離が、テーマ的・時間的グループ化を正しく特定している。
• 多数のデータセットにおいてCM距離はベースライン距離を上回っており、特に頻出アイテムセットを特徴として用いる際の性能が顕著であるが、データタイプによって性能は変動する。
• 相関特徴（cov）と独立した平均（ind）を用いた場合、距離はほぼ同等の結果を示したが、頻出アイテムセット（freq）を用いた場合、より特徴的で情報量の多い構造が得られた。