[論文レビュー] Review of Probability Distributions for Modeling Count Data

F. William Townes|arXiv (Cornell University)|Jan 10, 2020

Data Management and Algorithms参考文献 19被引用数 6

ひとこと要約

本稿は、度数データのための確率分布についてのきめ細やかなレビューを提供し、詳細な導出を通じてポアソン、ネガティブバイノミアル、多項分布、ディリクレ-多項分布モデルの間の根本的な関係を確立している。主な貢献は、同一のスケールパラメータθを持つ独立したネガティブバイノミアル確率変数の和が与えられたときの条件付き分布がディリクレ-多項分布に一致することを形式的証明することであり、これは、ゲノム解析やトピックモデルのような応用分野において、より現実的であるが計算が難しいディリクレ-多項分布モデルの代わりにネガティブバイノミアルモデルを計算的に扱いやすい近似として用いる正当性を裏付けている。

ABSTRACT

Count data take on non-negative integer values and are challenging to properly analyze using standard linear-Gaussian methods such as linear regression and principal components analysis. Generalized linear models enable direct modeling of counts in a regression context using distributions such as the Poisson and negative binomial. When counts contain only relative information, multinomial or Dirichlet-multinomial models can be more appropriate. We review some of the fundamental connections between multinomial and count models from probability theory, providing detailed proofs. These relationships are useful for methods development in applications such as topic modeling of text data and genomics.

研究の動機と目的

• 統計的モデリングに用いられる一般的な度数分布および組成的分布の間の理論的関係を明確化し、形式化すること。
• ポアソン-ガンマ、ネガティブバイノミアル、多項分布、およびディリクレ-多項分布の間の関係について、応用文献に広く見られる混乱を解消すること。
• これらの関係に対する閉形式の導出と証明を提供し、ゲノム解析およびテキスト解析分野における手法開発を支援すること。
• これらの関係がモデル選択に与える影響を評価すること、特にハイパーフォスティングシーケンシングやトピックモデリングの応用において。
• ガンマ分布およびディリクレ分布のような共役事前分布の限界を強調し、より柔軟なモデリングのための代替案を提示すること。

提案手法

• ガンマ分布に従うレートパラメータの周辺化を用いて、ネガティブバイノミアル分布とポアソン-ガンマ混合分布の等価性を導出する。
• 独立したガンマ分布に従う確率変数の和を正規化した分布としてディリクレ分布が生じることを証明し、多項分布モデルへの基礎的リンクを確立する。
• 多項分布が、その合計が固定された条件下での独立したポアソン(λi)変数と等価であることを示し、ポアソンベースの近似を可能にする。
• 同一のスケールパラメータθを有する独立したネガティブバイノミアル変数の和が与えられたときの条件付き分布として、ディリクレ-多項分布が成立することを確立する。
• 多次元変換技術およびヤコビアン行列式を用いて、正規化されたガンマ変数の同時分布を導出し、ディリクレ分布に至る。
• ベイズの定理を適用して、独立したネガティブバイノミアル変数の和が与えられたときの条件付きPMFを導出し、ディリクレ-多項分布の形が確認される。

実験結果

リサーチクエスチョン

• RQ1 ネガティブバイノミアル分布は、どのようにしてポアソン-ガンマ混合として形式的に導出可能か？
• RQ2 ディリクレ分布と独立したガンマ変数の和を正規化した分布との間の明確な数学的関係は何か？
• RQ3 多項分布は、独立したポアソン変数がその合計で条件づけられた場合、どのように等価となるか？
• RQ4 独立したネガティブバイノミアル変数の和が与えられたとき、その条件付き分布がディリクレ-多項分布に一致するのはどのような条件下か？
• RQ5 同一のスケールパラメータθの仮定が、独立したネガティブバイノミアルからディリクレ-多項分布を構成する際になぜ重要なのか？

主な発見

• ネガティブバイノミアル分布は、ガンマ分布に従うレートパラメータを持つポアソン分布と数学的に等価であり、周辺化により閉形式のPMFが得られる。
• ディリクレ分布は、独立したガンマ分布に従う確率変数の正規化された和として生じる。このとき、ガンマ変数の和は、個々の形状パラメータの和に等しい形状パラメータを持つガンマ分布に従う。
• 合計度数m、カテゴリ確率πiの多項分布は、λi = mπiとおくとき、n個の独立したポアソン(λi)変数がその合計がmに等しい条件のもとで等価である。
• 合計度数m、集中パラメータαiのディリクル-多項分布は、すべての成分が同一のスケールパラメータθを持つn個の独立したネガティブバイノミアル(αi, θ)変数がその合計M = mに等しい条件のもとで等価である。
• ネガティブバイノミアル成分の間で同一のθが要求されるのは不可欠である。θが一様でない場合、合計Mは閉形式の分布に従わず、条件付き分布はディリクル-多項分布とはならない。
• 理論的等価性は、トピックモデリングやシングルセルRNA-Seq解析のような応用分野において、ディリクル-多項分布モデルの計算的に効率的な近似としてネガティブバイノミアルモデルを用いることの正当性を支持する。