[論文レビュー] Compiling Relational Database Schemata into Probabilistic Graphical Models

Sameer Singh, Thore Graepel|arXiv (Cornell University)|Dec 5, 2012

Data Management and Algorithms参考文献 13被引用数 3

ひとこと要約

この論文では、各テーブルを混合モデルとしてモデル化し、外部キー関係を用いてテーブル間の成分インジケータをリンクすることで、関係データベーススキーマを完全にベイジアンな確率的グラフィカルモデルに自動的にコンパイルする手法を提案する。このアプローチにより、欠損値予測、外れ値検出、クラスタリングのスケーラブルかつ高精度な推論が可能となり、合成データおよび実世界のデータにおいて、従来のジョインベースのモデルを上回る線形スケーラビリティを実現する。

ABSTRACT

Instead of requiring a domain expert to specify the probabilistic dependencies of the data, in this work we present an approach that uses the relational DB schema to automatically construct a Bayesian graphical model for a database. This resulting model contains customized distributions for columns, latent variables that cluster the data, and factors that reflect and represent the foreign key links. Experiments demonstrate the accuracy of the model and the scalability of inference on synthetic and real-world data.

研究の動機と目的

• 機械学習の専門知識を要せず、既存の関係データベーススキーマから確率的グラフィカルモデルを自動的に構築すること。
• 外部キー関係や属性タイプといったドメインエキスパートのスキーマ設計知識を活用し、正確で生成的モデルを構築すること。
• 変分メッセージパッシングを用いて、欠損値予測、外れ値検出、リレーショナルクエリのスケーラブルな推論を可能とすること。
• スキーマに基づくモデルが、特に欠損データを含む状況において、従来のジョインベースの単一テーブルモデルを上回る正確性を示すことを実証すること。
• MovieLens や Xbox TrueSkill のような実世界のデータセットを用いて、モデルのクラスタリング品質とスケーラビリティを評価すること。

提案手法

• 各テーブルは有限混合モデルとしてモデル化され、各行に潜在的な成分インジケータと、属性ごとのデータ固有の分布（正規分布、ベルヌーイ分布、または離散分布）が割り当てられる。
• 外部キー関係は、参照先の行の成分インジケータに依存するゲート機構を用いてモデル化される。
• 外部キーの不確実性は離散分布としてモデル化され、欠損または誤った外部キーのリンクの予測が可能になる。
• 外部キー依存性グラフのトポロジカル順序に従い、リーフテーブルから始めて、反復的に全モデルを構築する。
• Infer.NET における変分メッセージパッシングを用いて効率的な推論を実現し、外部キーが観測されている場合には行数に比例する線形計算量を達成する。
• モデルは確率的リレーショナルクエリと、コンパイルされたグラフィカルモデルを用いた欠損値の周辺後験分布推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 関係データベーススキーマを、人為的介入を最小限に抑えて、完全にベイジアンで生成的確率的グラフィカルモデルに自動的にコンパイルできるか？
• RQ2 成分インジケータの依存関係を用いて外部キー関係をモデル化することで、標準的なジョインベースのアプローチと比較して、欠損値予測の正確性が向上するか？
• RQ3 追加のドメイン固有の仮定を必要とせず、行の意味のある解釈可能なクラスタリングをモデルが得られるか？
• RQ4 数十万行にのぼる大規模な実世界データベースに対しても、推論プロセスがスケーラブルか？
• RQ5 多数のデータ値が欠損している状況において、モデルのロバストネスはどの程度か？

主な発見

• スキーマベースのモデルは、すべてのテーブルを結合して得られる単一テーブルモデルと比較して、特に50％までの値が欠損している状況でも、RMSEが著しく低かった。
• MovieLens 100k データセットにおいて、推論実行時間はレーティング数に比例して線形に増加し、モデルの効率性と実用的なスケーラビリティを裏付けた。
• Xbox プレイヤーが試合結果と外部キーのリンクに基づいて、悪い、良い、優れたスキルレベルの3つの明確なスコアグループにクラスタリングされた。これは、意味のある潜在的構造の発見を示している。
• 高い欠損率下でも高い正確性を維持したため、データ品質の問題に対してもロバストであることが示された。
• 変分メッセージパッシングの使用により、決定的ゲートと強い依存関係を持つモデルにおいても、ギブスサンプリングの非効率性を回避できた。
• 外部キーの欠損予測が有効であった。外部キーの不確実性が、潜在的参照先の離散分布として明示的にモデル化されたためである。