[論文レビュー] Testing Hypotheses by Regularized Maximum Mean Discrepancy

Somayeh Danafar, Paola M. V. Rancoita+3 more|arXiv (Cornell University)|May 2, 2013

Gaussian Processes and Bayesian Inference参考文献 24被引用数 9

ひとこと要約

本稿では、小標本サイズや複数比較設定において、特に統計的検出力の向上を図るために、証明可能に最適な正則化項を組み込んだカーネルベースの仮説検定、正則化最大平均差分（RMMD）を提案する。RMMDは、MMDおよびカーネルフィッシャー判別分析（KFDA）よりも高い検出力を達成し、第一種の誤りと偽発見率の両方をより良好に制御する。この有効性は、EEG、MNIST、Covertype、Flare-Solarデータセットで検証された。

ABSTRACT

Do two data samples come from different distributions? Recent studies of this fundamental problem focused on embedding probability distributions into sufficiently rich characteristic Reproducing Kernel Hilbert Spaces (RKHSs), to compare distributions by the distance between their embeddings. We show that Regularized Maximum Mean Discrepancy (RMMD), our novel measure for kernel-based hypothesis testing, yields substantial improvements even when sample sizes are small, and excels at hypothesis tests involving multiple comparisons with power control. We derive asymptotic distributions under the null and alternative hypotheses, and assess power control. Outstanding results are obtained on: challenging EEG data, MNIST, the Berkley Covertype, and the Flare-Solar dataset.

研究の動機と目的

• 標本サイズが小さい場合の二標本仮説検定における低検出力の課題に対処すること。
• 最大平均差分（MMD）を改善するために、複数比較における検出力と第一種の誤りを制御する正則化を導入すること。
• EEG記録のような高次元でノイズの多いデータ条件下でも、分布の真の差を信頼性を持って検出できること。
• 理論的根拠に基づいた、ユーザーによるチューニングを必要としないカーネルベース仮説検定における検出力制御手法を提供すること。
• 家族誤り率を制御した複数比較タスクにおいて、優れた性能を示し、偽発見率が低いことを実証すること。

提案手法

• MMD統計量に正則化項を追加することで、最大検出力を達成する解析的最適化が可能な正則化版MMD（RMMD）を定義する。
• RKHS埋め込みのロバスト性を確保するため、データポイント間の中央距離をバンド幅として選択したガウスカーネルを用いる。
• 帰無仮説および対立仮説の下でのRMMDの漸近的分布を導出することで、正確なp値推定を可能にする。
• 複数の群間における分布差の検出を目的として、一対多および対比較フレームワークの両方でRMMDを適用する。
• 漸近的相対効率（ARE）分析と偽発見率（FDR）評価を用いて、複数検定シナリオにおけるロバスト性を評価し、検出力制御を実施する。
• 実データおよび合成データセット上で、繰り返し実験と統計的検出力指標を用いて、RMMDをMMDおよびKFDAと比較する。

実験結果

リサーチクエスチョン

• RQ1 正則化は、小標本仮説検定シナリオにおけるMMDの統計的検出力を向上させ得るか？
• RQ2 家族誤り率を制御した複数比較設定において、RMMDはMMDおよびKFDAと比べてどのように性能を発揮するか？
• RQ3 EEGのような高ノイズ・高次元データにおいて、真の信号差を検出する際、RMMDは低い偽発見率（FDR）を維持できるか？
• RQ4 理論的保証のもとで、帰無仮説および対立仮説の下でRMMDが一貫した検出力収束を達成できるか？
• RQ5 標準的なMMDと比較して、RMMDはEEGデータにおける生物学的に意味のある脳信号パターンの同定にどの程度効果的か？

主な発見

• 人工的な周期的およびガウス分布データ上で、RMMDはMMDおよびKFDAと比べて顕著に高い統計的検出力を達成した。
• MNISTデータセットでは、家族誤り率α=0.05、個別比較の閾値ᾱ=0.0011の条件下で、RMMDがMMDおよびKFDAを上回る検出力を示した。
• Covertypeデータセットでは、家族誤り率α=0.05、個別閾値ᾱ=0.0024の条件下で、RMMDがMMDおよびKFDAを上回った。
• Flare-Solarデータセットでは、家族誤り率α=0.05、個別閾値ᾱ=0.05の条件下で、RMMDが高い検出力を維持した。
• EEGデータ解析において、RMMDはMMDよりも低いFDR（FDR₀=0.12、FDR₁=0.18、FDR₂=0.25）を達成し、視覚皮質関連電極の検出がよりロバストかつ正確であることを示した。
• 一対多RMMD検定では、64電極中63電極で帰無仮説を棄却し、視覚皮質電極と非視覚皮質電極間の分布差が顕著であることを確認した。