[論文レビュー] Graph-Based Tests for Two-Sample Comparisons of Categorical Data

Hao Chen, Nancy R. Zhang|arXiv (Cornell University)|Aug 28, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 4

ひとこと要約

本稿では、高次元でスパースな分割表におけるカテゴリカルデータの2標本比較のためのグラフベースのノンパrametric手法を提案する。最小スパニングツリー（MST）と最小距離ペアリング（MDP）を用いてカテゴリの類似性を活用することで、カテゴリカルデータに一般的に見られる距離の同一性（ tied distances ）に対処し、漸近的に正規分布に従うパーミュテーションの帰無分布と正確なp値近似を実現する。その結果、高い検出力と高速な計算が達成される。

ABSTRACT

We study the problem of two-sample comparison with categorical data when the contingency table is sparsely populated. In modern applications, the number of categories is often comparable to the sample size, causing existing methods to have low power. When the number of categories is large, there is often underlying structure on the sample space that can be exploited. We propose a general non-parametric approach that utilizes similarity information on the space of all categories in two sample tests. Our approach extends the graph-based tests of Friedman and Rafsky (1979) and Rosenbaum (2005), which are tests base on graphs connecting observations by similarity. Both tests require uniqueness of the underlying graph and cannot be directly applied on categorical data. We explored different ways to extend graph-based tests to the categorical setting and found two types of statistics that are both powerful and fast to compute. We showed that their permutation null distributions are asymptotically normal and that their $p$-value approximations under typical settings are quite accurate, facilitating the application of the new approach. The approach is illustrated through several examples.

研究の動機と目的

• スパース性と高次元性の下で、古典的カイ二乗検定および正確検定の検出力が低い問題に対処すること。
• ランキング、ハプロタイプ、語の頻度など、従来の方法が分割表のスパース性のため失敗するような、カテゴリ間の潜在的な類似構造を活用すること。
• 距離の同一性によって非一意なグラフが生じる問題を解消することで、Friedman & Rafsky や Rosenbaum のグラフベースの検定をカテゴリカルデータに拡張すること。
• 実用的な応用を想定し、漸近的に正規分布に従う帰無分布と正確なp値近似が得られる、計算効率の良い統計量を開発すること。

提案手法

• すべての可能なMST（aMST）に基づく統計量と、すべてのMSTの和集合（uMST）に基づく統計量の2つを提案。両者ともカテゴリレベルの類似性を用いてエッジを定義する。
• カテゴリ空間上ですべてのMSTを効率的に列挙するためのスライディング変換アルゴリズム（Eppstein, 1995）を用い、aMST統計量の正確な計算を可能にする。
• カテゴリ間の最小距離ペアリング（MDP）を用いて、2番目の統計量（R_x）を定義。対称性の下での帰無分布を組合せ論的に導出する。
• 完全マッチングの組合せ論的性質を用いて、MDPに基づく統計量R_xの正確な帰無分布を導出。グループサイズが偶数・奇数の場合をそれぞれ考慮する。
• 奇数の合計標本サイズを扱うために、ゼロ距離の仮想的カテゴリ（pseudo-category）を追加し、その後そのエッジを無視するテクニックを採用。
• 両統計量をO(K² + M)時間で計算可能。ここでMはスパニングツリーの数であり、Kが大きい場合でもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 距離の同一性とスパースな分割表を伴うカテゴリカルデータに、グラフベースの2標本検定を効果的に拡張できるか？
• RQ2 カテゴリ間の類似性を活用することで、高次元カテゴリカル検定における検出力をどのように向上させられるか？
• RQ3 距離の同一性により複数のMSTやMDPが存在する場合、グラフベースの統計量の正確な帰無分布はどのように得られるか？
• RQ4 これらの統計量のp値近似は、実際の場面で完全なパーミュテーションテストを避けるのに十分な精度を持つだろうか？
• RQ5 統計量の計算複雑度はカテゴリ数にどのように依存するか？実世界の応用に耐える効率的アルゴリズムを開発可能か？

主な発見

• 提案されたaMSTおよびuMST統計量は、両者とも検出力が高く、計算効率に優れている。時間計算量はO(K² + M)であり、Mはスパニングツリーの数を表す。
• 両統計量のパーミュテーション帰無分布は漸近的に正規分布に従うため、完全なパーミュテーションリサンプリングを避けても正確なp値近似が可能である。
• MDPに基づく統計量R_xの正確な帰無分布は、組合せ論的アプローチにより導出され、i本のグループ間エッジを持つペアリングの数について閉形式の式が得られる。
• 両統計量のp値近似は通常の設定下で精度が高く、計算コストの高いパーミュテーションテストへの依存を低減できる。
• 距離の同一性をuMSTおよびaMSTを用いて効果的に処理することで、従来のグラフベースの検定の主な限界を克服した。
• 実世界の応用例（好みの順位付け、ハプロタイプ関連性、ドキュメント比較）において、スパース性のため古典的手法が失敗する状況でも本手法が有効であることが検証された。