[論文レビュー] Entropy Inference and the James-Stein Estimator

Jean Hausser, Korbinian Strimmer|arXiv (Cornell University)|Nov 21, 2008

Gaussian Processes and Bayesian Inference参考文献 23被引用数 5

ひとこと要約

本稿では、高次元設定における小標本推定精度を顕著に向上させる、エントロピーおよび相互情報量のジェイムズ＝スタイン型縮小推定量を提案する。様々なデータモデルにおいて、8つの代替手法を上回り、極度の undersampling 条件下でも優れた性能を示し、E. coli の発現データから遺伝子関連ネットワークの頑健な推定を可能にする。

ABSTRACT

We present a procedure for effective estimation of entropy and mutual information from small-sample data, and apply it to the problem of inferring high-dimensional gene association networks. Specifically, we develop a James-Stein-type shrinkage estimator, resulting in a procedure that is highly efficient statistically as well as computationally. Despite its simplicity, we show that it outperforms eight other entropy estimation procedures across a diverse range of sampling scenarios and data-generating models, even in cases of severe undersampling. We illustrate the approach by analyzing E. coli gene expression data and computing an entropy-based gene-association network from gene expression data. A computer program is available that implements the proposed shrinkage estimator.

研究の動機と目的

• 高次元で標本数が少ない生物学的データにおける、信頼性の高いエントロピーおよび相互情報量推定の課題に対処すること。
• 既存のエントロピー推定手順を上回る統計的・計算的に効率的な手法を開発すること。
• 限られた遺伝子発現データから正確な遺伝子関連ネットワークの推定を可能にすること。
• システム生物学における高次元データ解析のための実用的かつ実装可能なソリューションを提供すること。

提案手法

• 著者らは、標本に基づく推定量を共通のターゲットに向かって縮小することで、エントロピーおよび相互情報量推定の分散を低減するジェイムズ＝スタイン型縮小推定量を導出する。
• この縮小手順は計算的に効率的であり、遺伝子発現プロファイルなどの高次元データセットへの応用を可能にする。
• エントロピーおよび相互情報量の十分統計量における不変性の性質を活用することで、推定の頑健性を確保する。
• 一般化可能性を保証するため、複数のデータ生成モデルおよびサンプリング状態で推定量を検証する。
• 実世界の生物学的データセットの再現可能な解析を支援するため、ソフトウェア実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 縮小に基づくエントロピー推定量は、小標本・高次元設定において、既存の手法を上回る性能を達成できるか？
• RQ2 提案手法は、多様なデータ生成モデルおよびサンプリング条件でどのように性能を発揮するか？
• RQ3 この推定量は、限られた発現データから遺伝子関連ネットワーク推定の正確性をどの程度向上できるか？
• RQ4 不十分なサンプリング状況下でも、統計的頑健性を維持しながら計算効率を保てるか？

主な発見

• 提案された縮小推定量は、全テストサンプリング状況およびデータモデルにおいて、8つの代替エントロピー推定手法を一貫して上回る性能を示した。
• 従来の推定量が失敗するか高分散を示す極度の undersampling 条件下でも、本手法は強力な性能を発揮した。
• 推定量は、E. coli の遺伝子発現データからエントロピーに基づく遺伝子関連ネットワークを信頼性高く構築可能であることを示した。
• 本手法の計算効率は、高次元生物学的データセットへの応用を、禁止的な実行時間コストなしで可能にする。