[論文レビュー] Interpretable Distribution Features with Maximum Testing Power

Wittawat Jitkrittum, Zoltán Szabó+2 more|arXiv (Cornell University)|May 22, 2016

Statistical Methods and Inference参考文献 22被引用数 18

ひとこと要約

本稿では、空間的および周波数的特徴を最適化して統計的仮説検定のパワーを最大化することで、解釈可能な分布特徴を提案する。MEおよびSCF検定を導入し、学習された位置で評価される解析関数を用いることで、MMDと同等の2次時間計算量の性能を達成しつつ、テキストや画像のような高次元分布間の明確な人間が解釈可能な差を提供する。

ABSTRACT

Two semimetrics on probability distributions are proposed, given as the sum of differences of expectations of analytic functions evaluated at spatial or frequency locations (i.e, features). The features are chosen so as to maximize the distinguishability of the distributions, by optimizing a lower bound on test power for a statistical test using these features. The result is a parsimonious and interpretable indication of how and where two distributions differ locally. An empirical estimate of the test power criterion converges with increasing sample size, ensuring the quality of the returned features. In real-world benchmarks on high-dimensional text and image data, linear-time tests using the proposed semimetrics achieve comparable performance to the state-of-the-art quadratic-time maximum mean discrepancy test, while returning human-interpretable features that explain the test results.

研究の動機と目的

• 高次元空間における2つの確率分布の間の解釈可能な特徴を特定する手法を開発すること。
• 2標本検定の統計的検定力の最大化と同時に特徴の解釈可能性を保証すること。
• MMDのような最先端の2次時間計算量の手法に匹敵またはそれを上回る性能を達成しつつ、線形時間での検定を可能にすること。
• 局所的な分布差を強調する特徴を学習するための原理的かつ収束性を保証する方法を提供すること。

提案手法

• 特徴選択は、検定力の下界を最適化することで、分布の期待値の差が最大になるように空間的（ME検定）または周波数的（SCF検定）な位置を特定する。
• これらの最適化された位置で評価される解析関数を用いて、分布間の半距離を計算し、線形時間での計算を可能にする。
• 特徴選択は、ホールドアウトデータ上で推定される一貫性のある目的関数に基づくため、経験的検定力基準の収束が保証される。
• カーネル法と特性関数を活用し、ガウスカーネル上での検定力推定の均一収束に関する理論的保証を提供する。
• ME検定は最適化された空間的点における平均埋め込みを用い、SCF検定は最適化された周波数的点における平滑化された経験的特性関数を用いる。
• 理論的分析により、経験的検定力基準の推定が、母集団値に均一に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 2つの高次元確率分布を最も明確に区別できる、少数の解釈可能な特徴を特定できるか？
• RQ2 特徴の位置を最適化することで、2標本検定の統計的パワーを最大化できるか？
• RQ3 線形時間の2標本検定は、2次時間のMMDに匹敵する性能を達成しつつ、解釈可能であるか？
• RQ4 提案された最適化のもとで、検定力基準の経験的推定は母集団値に均一に収束するか？
• RQ5 提案手法は、テキストや顔の画像のような複雑なデータにおいて、意味のある人間が解釈可能な差を明らかにできるか？

主な発見

• 提案されたMEおよびSCF検定は、線形時間で動作するが、最先端の2次時間計算量のMMD検定と同等の性能を達成する。
• 検定力基準の経験的推定は、母集団値に均一に収束し、学習された特徴の信頼性が裏付けられる。
• テキスト（NIPSの論文集）および画像（顔の表情）データにおいて、分布差を明確に説明する解釈可能な特徴が同定された。
• Chwialkowskiら（2015）のランダム特徴選択に比べ、最適化された特徴は顕著に優れた検定パワーを示した。
• 本手法は、高次元における可視化不能なウェッジ関数の限界を克服し、2つの分布がどこでどのように局所的に異なるかを簡潔かつ解釈可能な形で示す。
• 理論的収束保証により、標本サイズが増加するにつれて、特徴選択プロセスが統計的に妥当で頑健であることが保証される。