[論文レビュー] A Bayesian Multiresolution Independence Test for Continuous Variables

Diraitris Margaritis, Sebastian Thrun|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用数 34

ひとこと要約

本稿では、連続変数の条件付き独立性に関する事後確率を複数のデータ解像度で計算するベイジアンマルチスケール独立性検定を提案する。ディリクレ-多項分布の事前分布と離散化ヒストグラム上の正確なベイジアン統合を用いることで、混合変数タイプ（連続、順序、名義）を扱うベイジアンネットワークにおける構造学習を強固に可能にし、単一解像度法よりも複雑な依存関係を検出する点で優れている。

ABSTRACT

In this paper we present a method ofcomputing the posterior probability ofconditional independence of two or morecontinuous variables from data,examined at several resolutions. Ourapproach is motivated by theobservation that the appearance ofcontinuous data varies widely atvarious resolutions, producing verydifferent independence estimatesbetween the variablesinvolved. Therefore, it is difficultto ascertain independence withoutexamining data at several carefullyselected resolutions. In our paper, weaccomplish this using the exactcomputation of the posteriorprobability of independence, calculatedanalytically given a resolution. Ateach examined resolution, we assume amultinomial distribution with Dirichletpriors for the discretized tableparameters, and compute the posteriorusing Bayesian integration. Acrossresolutions, we use a search procedureto approximate the Bayesian integral ofprobability over an exponential numberof possible histograms. Our methodgeneralizes to an arbitrary numbervariables in a straightforward manner.The test is suitable for Bayesiannetwork learning algorithms that useindependence tests to infer the networkstructure, in domains that contain anymix of continuous, ordinal andcategorical variables.

研究の動機と目的

• 連続変数における条件付き独立性を検出する課題に取り組むこと。これは、解析の解像度に応じて依存しているように見えるか、独立しているように見えるかが変わることを意味する。
• 単一スケール解析による誤った結論を避けるために、複数の解像度で一貫して独立性を評価する手法を開発すること。
• 連続、順序、名義の変数タイプに一般化可能な、原理的で整合性のあるベイジアンアプローチにより、独立性の事後確率を計算すること。
• マルチスケールの解像度に頼らない、解像度に強い独立性検定を提供することで、ベイジアンネットワークにおける構造学習を支援すること。

提案手法

• 連続変数を複数の解像度でヒストグラムに離散化し、複数スケールのグリッドを用いてさまざまな粗さの依存関係を捉える。
• 各解像度ごとに、離散化セル上のディリクレ事前分布を用いた多項分布で結合分布をモデル化する。
• 共役事前分布を活用することで解析的可解性を確保し、正確な事後確率をベイジアン統合により計算する。
• 指数的数の可能なヒストグラムの上でのベイジアン積分を近似するための探索手順を採用し、複数の解像度からの証拠を統合する。
• 連続変数は離散化により、名義変数は標準的な多項分布モデルにより扱うことで、複数変数および混合データタイプに一般化する。
• 複数の解像度にわたる可能な独立性構造の空間を効率的に探索するための階層的探索戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 同じデータが解析の解像度によって依存しているように見えるか、独立しているように見えるかが変わる場合、連続変数における条件付き独立性を信頼性を持って評価するにはどうすればよいか？
• RQ2 複数の解像度からの証拠を最適に統合し、真の背後に潜む独立性構造を推定するにはどのような方法が適しているか？
• RQ3 さまざまなヒストグラム解像度の範囲で、原理的で整合性のあるベイジアン手法により独立性の事後確率を計算するにはどうすればよいか？
• RQ4 マルチスケールのベイジアン検定は、単一解像度法と比較して、ベイジアンネットワークにおける構造学習を改善できるか？

主な発見

• 本手法は、複数スケールでデータを分析することで、単一解像度法が見逃す複雑な非線形依存関係を効果的に検出できる。
• ベイジアンマルチスケールアプローチは、単一解像度に依存する従来の手法よりも、より正確で安定した独立性評価を提供する。
• 複数の解像度にわたる統合により、任意のビン分割の選択に対する感度が低下し、構造学習におけるロバスト性が向上する。
• 本手法は混合変数タイプに効果的に一般化され、連続、順序、名義変数を含む実世界のベイジアンネットワーク学習タスクへの応用が可能である。
• 実験的評価により、ベンチマークデータセット上での正しく構築されたネットワーク構造の同定において、マルチスケール検定が単一解像度の代替手法を上回ることが示された。