[論文レビュー] Explicit probabilistic models for databases and networks

Tijl De Bie|ArXiv.org|Jun 29, 2009

Data Visualization and Analytics参考文献 20被引用数 9

ひとこと要約

本稿では、データベースおよびネットワークの明示的確率モデルを構築するための最大エントロピー（MaxEnt）フレームワークを提案する。このフレームワークにより、データマイニングパターンの直接的な統計的評価が可能になる。事前知識を制約として組み込むことで、スケーラビリティおよび解釈可能性において、従来の暗黙的ランダム化ベースの帰無仮説モデルを凌駕するモデルが、アイテムセットやネットワークモチーフの応用を含めて効率的に計算可能である。

ABSTRACT

Recent work in data mining and related areas has highlighted the importance of the statistical assessment of data mining results. Crucial to this endeavour is the choice of a non-trivial null model for the data, to which the found patterns can be contrasted. The most influential null models proposed so far are defined in terms of invariants of the null distribution. Such null models can be used by computation intensive randomization approaches in estimating the statistical significance of data mining results. Here, we introduce a methodology to construct non-trivial probabilistic models based on the maximum entropy (MaxEnt) principle. We show how MaxEnt models allow for the natural incorporation of prior information. Furthermore, they satisfy a number of desirable properties of previously introduced randomization approaches. Lastly, they also have the benefit that they can be represented explicitly. We argue that our approach can be used for a variety of data types. However, for concreteness, we have chosen to demonstrate it in particular for databases and networks.

研究の動機と目的

• データマイニングにおける明示的確率的帰無仮説モデルの欠如、特にデータベースおよびネットワーク分野における課題を解決すること。
• 度数分布、アイテムセットのサポートなど、事前知識（例）を確率的モデルにおける制約として形式化すること。
• 統計的有意性検定をサポートする明示的帰無仮説モデルを構築するためのスケーラブルで計算的に効率的な手法を開発すること。
• 明示的背景モデルに基づく、新たな原理的測度によるパターンの興味深さを定義すること。
• MaxEntモデルが、暗黙的ランダム化ベースのアプローチの性質を再現し、それを凌駆できることを示すこと。

提案手法

• データベースおよびネットワークにおける事前知識を、行列要素（例：行・列和、次数列）に対する線形制約として形式化する。
• 最大エントロピー原理を適用し、これらの制約を満たす確率分布の中でエントロピーを最大にする分布を導出する。
• 凸最適化を用いてMaxEnt問題を効率的に解き、数値的安定性とスケーラビリティを確保する。
• 得られたMaxEnt分布を条件付き確率の積として明示的に表現し、直接的なサンプリングおよび尤度計算を可能にする。
• データベースおよびネットワークにおけるスワップベースのランダム化の不変性と、MaxEntモデルが等価であることを示す。
• 多次元正規分布を用いることで、負の行列要素および分散制約を扱えるようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 データベースおよびネットワークに対して、非自明な事前知識を組み込んだ明示的確率モデルを構築できるか？
• RQ2 MaxEntモデルは、統計的性質および計算効率の観点から、暗黙的ランダム化ベースの帰無仮説モデルと比べてどのように異なるか？
• RQ3 MaxEntモデルを用いて、データマイニングにおける新たな原理的測度によるパターンの興味深さを定義できるか？
• RQ4 MaxEntアプローチは、大規模なデータベースおよびネットワークにおいて実用的に十分にスケーラブルか？
• RQ5 MaxEntモデルが確率的境界（例：P ≤ 1）に違反しないように保証するための制約として、どのような制約が十分か？

主な発見

• MaxEntフレームワークは、大規模なデータベースおよびネットワークに対しても、標準のラップトップで数秒で効率的に計算可能な明示的かつ解析的に取り扱いやすい確率モデルを生成する。
• MaxEntモデルは、スワップベースのランダム化手法と同一の不変性を満たしており、既存の有意性検定アプローチと整合性を保つ。
• 度数列のネットワークやアイテムセットのサポートといった、多様な事前知識が、線形制約を通じて自然に組み込まれる。
• 一部の暗黙的モデル（例：次数比例エッジモデル）とは異なり、MaxEntモデルは構築段階で有効な確率（例：P > 1）を回避するため、数学的に妥当である。
• このフレームワークにより、MCMCやリジェクションサンプリングのような計算コストの高い手法を避けて、帰無仮説モデルからの直接的サンプリングが可能になる。
• このアプローチにより、尤度、p値、または最小記述長に基づく、明示的な統計モデルに裏打ちされた、新たなパターンの情報量測度の定義が可能になる。