[論文レビュー] Bayesian Models of Graphs, Arrays and Other Exchangeable Random Structures

Peter Orbanz, Daniel M. Roy|arXiv (Cornell University)|Dec 30, 2013

Bayesian Methods and Mixture Models参考文献 6被引用数 5

ひとこと要約

この論文は、交換可能性と表現定理を活用することで、グラフ、配列、ネットワークなどの構造的データに対するベイズ非パラメトリックモデリングを拡張する。これはデ・フィネッティの定理をランダム構造へ一般化したものであり、交換可能なランダムグラフや配列が交換可能な分布による表現を備えていることを確立し、理論的保証とともにネットワークおよび関係データのための整合的非パラメトリック事前分布を可能にする。

ABSTRACT

The natural habitat of most Bayesian methods is data represented by exchangeable sequences of observations, for which de Finetti's theorem provides the theoretical foundation. Dirichlet process clustering, Gaussian process regression, and many other parametric and nonparametric Bayesian models fall within the remit of this framework; many problems arising in modern data analysis do not. This article provides an introduction to Bayesian models of graphs, matrices, and other data that can be modeled by random structures. We describe results in probability theory that generalize de Finetti's theorem to such data and discuss their relevance to nonparametric Bayesian modeling. With the basic ideas in place, we survey example models available in the literature; applications of such models include collaborative filtering, link prediction, and graph and network analysis. We also highlight connections to recent developments in graph theory and probability, and sketch the more general mathematical foundation of Bayesian methods for other types of data beyond sequences and arrays.

研究の動機と目的

• 交換可能な系列を超えた構造的データタイプ（グラフ、配列、分割など）に対するデ・フィネッティの定理の一般化を図り、整合的なベイズモデリングを可能にする。
• 交換性のような確率的対称性（例：交換性）を用いて、グラフ値、行列値、その他の構造的データの適切な統計モデルのクラスを同定する。
• ランダムグラフと配列の非パラメトリックベイズモデルを構築する理論的基盤を提供する。これには、エルゴード分解と表現定理が含まれる。
• 交換可能なランダム構造を、ネットワーク解析、協調フィルタリング、リンク予測といった現代の応用と結びつける。
• 特にスパースグラフのモデリングにおける未解決問題、特に自己同型不変性またはスパースグラフモデルに対する扱いやすい表現の欠如を強調する。

提案手法

• 交換性と表現定理（例：アロウズ＝フーバー、キングマンのペイントボックス）を適用し、交換可能なランダムグラフや配列を条件付き独立構造の混合としてモデル化する。
• 交換可能な配列のアロウズ＝フーバー表現を用いて、可測なカーネル関数によるグラフの分布の特徴付けを行い、構造的データへのi.i.d.サンプリングの一般化を実現する。
• エルゴード分解を適用し、交換可能なランダム構造を極値（エルゴード）分布の混合として表現することで、ベイズモデルにおける事前分布の指定を可能にする。
• グラフ極限理論とカットノルムを用いて、交換可能な配列の解析的表現と確率的対称性を結びつける。
• ネットワークおよび関係データの非パラメトリック事前分布として交換可能な分布を導入し、クラスタリング、リンク予測、行列分解への応用を含む。
• 現在の対称性（例：交換性、自己同型不変性）がスパースグラフに与える制限を分析し、有用な統計モデルに対する扱いやすい表現の欠落を特定する。

実験結果

リサーチクエスチョン

• RQ1 構造的データとしてのグラフ値、配列値データに対して、その本質的構造を踏まえた適切なベイズモデルのクラスは何か？
• RQ2 デ・フィネッティ型の表現定理をランダムグラフや高次元配列へ一般化することで、非パラメトリックモデリングを可能にする方法は何か？
• RQ3 交換性、自己同型不変性などの確率的対称性（例）は、ネットワークデータの扱いやすく解釈可能な統計モデルをもたらすか？
• RQ4 現在の交換可能なグラフの表現がなぜスパースグラフに一般化できないのか、そしてこれを解決するための代替的対称性は何か？
• RQ5 交換可能なランダム構造のエルゴード分解を、ネットワークおよび関係データのための柔軟かつ非パラメトリックな事前分布を構築するためにどのように活用できるか？

主な発見

• 交換可能なランダムグラフや配列は、条件付き独立構造の混合として表現可能であり、混合測度は非パラメトリック事前分布に対応する。
• アロウズ＝フーバー表現により、交換可能な配列は可測なカーネル関数によって完全に特徴付けられ、構造的データへのi.i.d.サンプリングの一般化が達成される。
• 交換可能なグラフのエルゴード分布は、エッジの均一サンプリングを一般化するサンプリング方式によって特徴付けられ、非パラメトリックモデリングを可能にする。
• 交換性は豊かなモデリングフレームワークを提供するが、密度の高いグラフモデルを生じさせ、パワー則の性質を示すスパースネットワークには不適切である。
• 自己同型不変性は自然な対称性ではあるが、有用な統計モデルに対する扱いやすい表現をもたらさないため、スパースグラフモデリングにおける新たな対称性の必要性が示唆される。
• 交換可能な構造、グラフ極限、関数解析の間の理論的関係が、複雑なネットワークモデルの分析とシミュレーションの基盤を提供する。