[論文レビュー] Learning Module Networks

Eran Segal, Dana Pe’er+3 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 30被引用数 136

ひとこと要約

本稿では、同一の条件付き依存関係を持つ変数をモジュールにグループ化する、ベイジアンネットワークの新規拡張であるモジュールネットワークを紹介する。高次元ドメインにおける構造学習を効率化するために、モジュール分割とネットワーク構造を同時に学習することで、一般化性能を向上させるとともに、遺伝子発現データや株式市場データにおいて標準的なベイジアンネットワークよりも隠れた規則性を明らかにする。

ABSTRACT

Methods for learning Bayesian network structure can discover dependency structure between observed variables, and have been shown to be useful in many applications. However, in domains that involve a large number of variables, the space of possible network structures is enormous, making it difficult, for both computational and statistical reasons, to identify a good model. In this paper, we consider a solution to this problem, suitable for domains where many variables have similar behavior. Our method is based on a new class of models, which we call module networks. A module network explicitly represents the notion of a module - a set of variables that have the same parents in the network and share the same conditional probability distribution. We define the semantics of module networks, and describe an algorithm that learns a module network from data. The algorithm learns both the partitioning of the variables into modules and the dependency structure between the variables. We evaluate our algorithm on synthetic data, and on real data in the domains of gene expression and the stock market. Our results show that module networks generalize better than Bayesian networks, and that the learned module network structure reveals regularities that are obscured in learned Bayesian networks.

研究の動機と目的

• 高次元ドメインにおける多数の変数を伴うベイジアンネットワーク構造の学習における計算的・統計的課題に対処すること。
• 同じ親ノードと条件付き確率分布を持つ変数のグループ（モジュール）を同定することで、複雑なデータに隠れた規則性を発見すること。
• データからモジュール分割とネットワーク構造を同時に推論するスケーラブルな学習アルゴリズムの開発。
• 実世界の応用において、標準的なベイジアンネットワークと比較して、モデルの一般化性能と解釈可能性を向上させること。

提案手法

• 同じ親ノードと条件付き確率分布を持つ変数の集合（モジュール）を明示的に表現する、新たな確率的グラフィカルモデルとしてモジュールネットワークを導入する。
• モジュール固有の条件付き確率テーブルに従って因子分解する同時確率分布を用いて、モジュールネットワークの意味論を定義する。
• モジュール割り当ての精緻化とスコアベースの探索によるネットワーク構造最適化を繰り返す学習アルゴリズムを開発する。
• モデルの適合度と複雑さのバランスを取るスコア関数を採用し、過学習を抑えるモジュール構造を好む。
• 効率的にモジュール分割とネットワークトポロジーの両方の空間を探索するため、グリーディー探索戦略を採用する。
• 性能評価のため、合成データおよび遺伝学・ファイナンス分野の実世界データセットにアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 限られたサンプル数のもとで、モジュールネットワークは高次元データにおける構造とモジュール分割を効果的に学習できるか？
• RQ2 一般化性能とモデルの正確性という観点から、標準的なベイジアンネットワーク学習と比較して、モジュールネットワークアプローチはどのように異なるか？
• RQ3 変数群の間で共通する条件付き依存関係を同定することで、データにどのような規則性が明らかにされるか？
• RQ4 モジュールと構造を同時に学習することは、構造を最初に固定する手法と比較して、より解釈可能で頑健なモデルをもたらすか？

主な発見

• 合成データおよび実世界データの両方において、モジュールネットワークは標準的なベイジアンネットワークよりも顕著に一般化性能が優れている。特に高次元設定下で顕著である。
• 遺伝子発現データにおいて、学習されたモジュールネットワーク構造は、標準的なベイジアンネットワークでは見えにくかった生物学的に意味のあるレギュラトリーモジュールを特定した。
• 株式市場データにおいては、類似した依存パターンを示す一貫性のある株式グループを同定し、潜在的な市場状態を明らかにした。
• 中程度のサンプルサイズでも、合成データセットにおいて真のモジュール構造を高い正確性で回復できた。
• モジュールと構造の同時学習は、モジュール割り当てや構造を事前に固定する逐次的手法を上回る性能を示した。