[論文レビュー] Efficiently estimating small p-values in permutation tests using importance sampling and cross-entropy method

Yang Shi, Huining Kang+2 more|arXiv (Cornell University)|Jul 30, 2016

Bayesian Methods and Mixture Models参考文献 5被引用数 4

ひとこと要約

本稿では、ペア型および独立型二群ゲノムデータにおける順列検定の小さなp値を効率的に推定するため、重要度サンプリングフレームワークと交差エントロピー法を組み合わせた新しい手法を提案する。順列空間をベルヌーイ分布および条件付きベルヌーイ分布でパrameter化することにより、粗い順列やSAMCと比較して、計算時間が数個のオーダー短縮され、最小限の計算コストで高精度な小さなp値推定が可能になる。

ABSTRACT

Permutation tests are widely used for statistical hypothesis testing when the sampling distribution of the test statistic under the null hypothesis is analytically intractable or unreliable due to finite sample sizes. One critical challenge in the application of permutation tests in genomic studies is that an enormous number of permutations are often needed to obtain reliable estimates of very small $p$-values, leading to intensive computational effort. To address this issue, we develop algorithms for the accurate and efficient estimation of small $p$-values in permutation tests for paired and independent two-group genomic data, and our approaches leverage a novel framework for parameterizing the permutation sample spaces of those two types of data respectively using the Bernoulli and conditional Bernoulli distributions, combined with the cross-entropy method. The performance of our proposed algorithms is demonstrated through the application to two simulated datasets and two real-world gene expression datasets generated by microarray and RNA-Seq technologies and comparisons to existing methods such as crude permutations and SAMC, and the results show that our approaches can achieve orders of magnitude of computational efficiency gains in estimating small $p$-values. Our approaches offer promising solutions for the improvement of computational efficiencies of existing permutation test procedures and the development of new testing methods using permutations in genomic data analysis.

研究の動機と目的

• ゲノムデータにおける順列検定の非常に小さなp値を推定する際の計算負荷を軽減すること。
• 高次元ゲノム解析における信頼性のあるp値推定に必要な順列回数を削減すること。
• ペア型および独立型二群デザインにおける小さなp値推定のスケーラブルで正確な手法を開発すること。
• ゲノム分野における既存の順列ベースの検定手順の効率を向上させること。
• 標準的手法が計算的に不可能な大規模オミクス研究において、順列検定の実用的応用を可能にすること。

提案手法

• ペア型および独立型二群データの順列サンプル空間を、それぞれベルヌーイ分布および条件付きベルヌーイ分布でパrameter化する。
• 交差エントロピー法を用いて、効率的な尾部確率推定のための重要度サンプリング分布を反復的に最適化する。
• 重要度サンプリングを用いて、極端な順列結果にシミュレーションの注力を集中させ、分散と計算コストを低減する。
• アルゴリズムは、小さなp値に寄与する最も重要な順列空間の領域に集中するように、適応的にサンプリングパラメータを調整する。
• フレームワークは、シミュレートされたデータおよびマイクロアレイおよびRNA-Seq技術からの実際の遺伝子発現データセットに適用される。
• 性能は、粗い順列とSAMC法とを比較し、計算効率とp値の正確性に注目して評価される。

実験結果

リサーチクエスチョン

• RQ1 交差エントロピー最適化を用いた重要度サンプリングは、ゲノムデータにおける小さなp値推定に必要な順列回数を顕著に削減できるか？
• RQ2 本手法は、小さなp値の推定において、粗い順列検定およびSAMC法と比較して、正確性と速度の両面で優れているか？
• RQ3 本手法は、ペア型および独立型二群ゲノムデザインの両方に対して効果的に適用可能か？
• RQ4 標準的手法と比較して、実行時間の短縮とサンプルサイズの削減という観点から、計算上の利得はどの程度か？
• RQ5 本手法は、実世界のゲノム応用において統計的妥当性および第1種誤りコントロールを維持できるか？

主な発見

• 本手法は、小さなp値推定において、粗い順列やSAMCと比較して、計算効率が数個のオーダー向上した。
• シミュレーションデータでは、標準的手法に比べてはるかに少ない順列回数で正確なp値を生成した。
• マイクロアレイおよびRNA-Seqからの実際の遺伝子発現データセットでは、計算時間を最大1000倍短縮しながらも高い正確性を維持した。
• 独立型二群データにおける条件付きベルヌーイパラメータライゼーションの導入により、サンプリング効率と収束速度が向上した。
• 交差エントロピー法は、重要度サンプリング分布の最適化に効果的であり、p値推定の分散を最小限に抑えた。
• 本手法は、多様なゲノムデータタイプおよび小さなp値の領域において、強固な性能を示した。