[論文レビュー] Automated extraction of mutual independence patterns using Bayesian comparison of partition models

Guillaume Marrelec, Alain Giron|arXiv (Cornell University)|Jan 15, 2020

Bayesian Methods and Mixture Models参考文献 62被引用数 3

ひとこと要約

本稿では、変数の間の相互独立性構造を、変数の分割に関するモデル比較として扱うことで、データ駆動型の自動的独立性パターン同定のためのベイジアンフレームワークを提案する。マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて、可能なすべての独立性構造の空間を効率的に探索し、尤度比や最小情報差分基準といった古典的手法の原理的一般化を提供する。合成データおよび実世界データにおいても成功が確認されている。

ABSTRACT

Mutual independence is a key concept in statistics that characterizes the structural relationships between variables. Existing methods to investigate mutual independence rely on the definition of two competing models, one being nested into the other and used to generate a null distribution for a statistic of interest, usually under the asymptotic assumption of large sample size. As such, these methods have a very restricted scope of application. In the present manuscript, we propose to change the investigation of mutual independence from a hypothesis-driven task that can only be applied in very specific cases to a blind and automated search within patterns of mutual independence. To this end, we treat the issue as one of model comparison that we solve in a Bayesian framework. We show the relationship between such an approach and existing methods in the case of multivariate normal distributions as well as cross-classified multinomial distributions. We propose a general Markov chain Monte Carlo (MCMC) algorithm to numerically approximate the posterior distribution on the space of all patterns of mutual independence. The relevance of the method is demonstrated on synthetic data as well as two real datasets, showing the unique insight provided by this approach.

研究の動機と目的

• 相互独立性検出を仮説駆動の検定から、あらゆる可能な独立性パターンを網羅的に探索する盲目的な自動探索へと転換すること。
• すべての可能な変数の分割構造に関する完全な確率的推論を可能にする、一般化されたベイジアンフレームワークの構築。
• ネストされたモデルと漸近的近似を必要とする古典的手法の限界を克服すること。
• 多変量正規分布および離散（多項）分布に適用可能なスケーラブルで柔軟な手法の提供。
• 古典的手法がしばしば見逃す複雑でスパースな独立性構造の同定を可能にすること。

提案手法

• 相互独立性パターンをD個の変数の分割として扱い、分割と独立性構造の間に一対一の対応を確立する。
• ベイジアンモデル比較を用いて、観察データのもとでの各分割（すなわち各独立性パターン）の事後確率を計算する。
• 対数事後確率の漸近的近似を導出し、既存の基準（BIC、尤度比、最小情報差分）と整合性を保つ。
• ギブスサンプリングと並列温度法を組み合わせた一般化されたMCMCアルゴリズムを提案し、すべての分割空間を効率的に探索する。
• 多変量正規分布およびクロスクラス化多項分布に本手法を適用し、既存のアプローチと理論的に一貫性を示した。
• 閉形式解が困難な場合の事後推論を可能にするために、周辺尤度の数値近似を採用する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、あらかじめ構造に関する仮定を置かずに、完全に自動的かつデータ駆動型の相互独立性パターン同定が可能となるか？
• RQ2 ベイジアン分割比較フレームワークは、尤度比や最小情報差分基準といった古典的手法をどの程度一般化するか？
• RQ3 特に標本サイズが限られた場合に、本手法はスパースな独立性構造をどの程度正確に同定できるか？
• RQ4 多変量t分布などの高次元または正規分布でないデータにおいて、真の独立性構造を効果的に回復できるか？
• RQ5 すべての可能な独立性パターンの空間における事後分布を、どのようないくつかの方法で表現・解釈できるか？

主な発見

• 合成データにおいて、既知の独立性構造を高精度に回復しており、複雑でスパースな構造でも同定に成功している。
• 多変量正規分布および多項分布モデルにおいて、漸近的領域ではBIC、尤度比、最小情報差分基準と強い整合性を示した。
• 並列温度法を用いたMCMCサンプリングにより、中程度のDに対しても、組み合わせ的に巨大な分割空間を効果的に探索できた。
• 古典的手法が取り扱えない非自明で非ネストな独立性構造の同定において、本手法は従来手法を上回る性能を示した。
• 多変量t分布に従うデータでは、本手法は依然として頑健であるが、BIC近似のばらつきが増大し、乖離が顕著になる傾向を示しており、さらなる精錬の必要性が示唆された。
• 特にD > 4の場合、分割空間における事後分布の表現の難しさが浮き彫りになり、解釈性を高めるための新しい可視化技術の開発が求められている。