[論文レビュー] Separate Exchangeability as Modeling Principle in Bayesian Nonparametrics

Giovanni Rebaudo, Qiaohui Lin+1 more|arXiv (Cornell University)|Dec 14, 2021

Bayesian Methods and Mixture Models被引用数 8

ひとこと要約

この論文は、微生物叢データやタンパク質活性化データのような、明確に区別される実験単位（例：患者やOTU）を扱う文脈において、ベイジアン非パラメトリック統計における基礎的モデリング原則として「分離的交換可能性（separate exchangeability）」の導入を提唱する。本稿では、マイクロバイオームデータに適したネスト型ランダムパーティションモデルと、タンパク質活性化に適した加法的ランダム効果を備えたBNP回帰モデルの2つの新しいモデルを提案し、分離的交換可能性が実験単位の識別を保持し、部分的または結合的交換可能性よりもより正確で解釈可能な推論を可能にすることを示している。

ABSTRACT

We argue for the use of separate exchangeability as a modeling principle in Bayesian nonparametric (BNP) inference. Separate exchangeability is de facto widely applied in the Bayesian parametric case, e.g., it naturally arises in simple mixed models. However, while in some areas, such as random graphs, separate and (closely related) joint exchangeable models are widely used, they are curiously underused for several other applications in BNP. We briefly review the definition of separate exchangeability, focusing on the implications of such a definition in Bayesian modeling. We then discuss two tractable classes of models that implement separate exchangeability, which are the natural counterparts of familiar partially exchangeable BNP models. The first is nested random partitions for a data matrix, defining a partition of columns and nested partitions of rows, nested within column clusters. Many recent models for nested partitions implement partially exchangeable models related to variations of the well-known nested Dirichlet process. We argue that inference under such models in some cases ignores important features of the experimental setup. We obtain the separately exchangeable counterpart of such partially exchangeable partition structures. The second class is about setting up separately exchangeable priors for a nonparametric regression model when multiple sets of experimental units are involved. We highlight how a Dirichlet process mixture of linear models, known as ANOVA DDP, can naturally implement separate exchangeability in such regression problems. Finally, we illustrate how to perform inference under such models in two real data examples.

研究の動機と目的

• 実験単位の種別（例：患者 vs. OTU）が明確な文脈において、分離的交換可能性が自然に適合するにもかかわらず、非パラメトリックベイズモデルでその活用が不十分であるという問題に対処すること。
• データ行列における行（例：患者）と列（例：OTU やタンパク質）の単位の識別を保持するモデルを開発すること。部分的または結合的交換可能性では、これらの識別が失われるため。
• 異なる種類の実験単位間の依存関係をモデリングしつつも、それぞれの単位の固有の役割を維持することで、より正確な推論と予測を可能にすること。
• ネスト型パーティションや加法的ランダム効果構造に一般化可能な、分離的交換可能性のフレームワークを提供すること。
• 2つの実データ応用を通じて、分離的交換可能性が、代替の交換可能性仮定よりも優れたモデル適合度とより解釈可能な結果をもたらすことを示すこと。

提案手法

• 列のクラスタリングが行のクラスタリングをネスト的に誘導するネスト型ランダムパーティションモデルを提案。これにより、行と列の単位の区別が保持される。
• ディリクレ過程に基づくランダムパーティション事前分布を用い、各列クラスタ内での行のクラスタリングに依存性を導入。これにより、柔軟で非パラメトリックなクラスタリングが可能となる。
• 加法的ランダム効果を備えたベイジアン非パラメトリック回帰モデルを構築。患者／条件用とタンパク質／OTU用のランダム効果を別々に定義し、分離的交換可能性を保証する。
• 階層的事前分布構造を採用。各単位タイプのランダム効果は共通の分布から抽出され、情報共有が可能になる一方で、単位の識別が維持される。
• ギブスサンプリングを用いたMCMCベースの事後分布推論を実装。パーティションとパラメータの更新に用いられ、事後予測チェックと残差診断が含まれる。
• モデル適合度の診断として、残差のQ-QプロットとR²を用い、モデル性能の妥当性と適合度の評価を実施。

実験結果

リサーチクエスチョン

• RQ1 分離的交換可能性は、多様な種類の実験単位を含む実験設計をよりよく反映する非パラメトリックベイズモデルにおいて、どのように形式的に定義され、適用可能か？
• RQ2 階層的またはネスト構造を持つデータ行列をモデリングする際、分離的交換可能性は部分的または結合的交換可能性に比べて、推論をどのように改善するか？
• RQ3 分離的交換可能性は、マイクロバイオームデータやタンパク質活性化研究に適した非パラメトリックモデルに、実装可能で、単位の識別を保持し、正確な予測を可能にするか？
• RQ4 分離的交換可能性は、ある種の単位（例：患者）のサブセット間で共有される依存関係（例：OTU やタンパク質のクラスタ内）をモデリングする際に、どのような意味を持つのか？
• RQ5 実世界の生物学的データセットにおいて、分離的交換可能性に基づくモデルは、部分的交換可能性に基づくモデルと比べて、適合度と解釈可能性の点でどのように異なるか？

主な発見

• シミュレーションにおいて、マイクロバイオームデータに適した提案モデルは、上位100個のタンパク質のうち誤分類が一切なく、真のクラスタ構造を正しく回復した。
• 加法的ランダム効果を備えたBNP回帰モデルは、クラスタごとに平均R²が0.70（標準誤差0.075）を達成し、良好なモデル適合度を示した。
• 残差のQ-Qプロットから、モデル適合度に対する反証の証拠は認められず、残差はほぼ正規分布に従っていた。
• 事後分布で得た、各タンパク質の傾きの絶対差（|γi|）の順位付けが、時間経過に伴い発現量の変化が最大の上位20個のタンパク質を正しく特定した。
• 本モデルは実験単位（例：患者 vs. タンパク質）の識別を保持しており、部分的交換可能性では実現できない意味のある要約が可能である。
• 分離的交換可能性は、特にブロック間で共通の単位を含むような実験設計をより忠実に表現でき、結合的交換可能性や部分的交換可能性よりも優れている。