[論文レビュー] Discriminative Probabilistic Models for Relational Data

Ben Taskar, Pieter Abbeel+1 more|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 124

ひとこと要約

本稿は、構造化データ内の関係的依存関係をモデル化するための条件付きマルコフネットワークに基づく判別的確率的枠組みを提案する。これにより、ラベル相関を捉えることで集団分類が可能となり、精度が向上する。本手法は、サイクル制約を回避し、関係データに対して判別的学習を可能にするため、独立分類や従来の有向モデルを上回る。ウェブページ分類における実証的検証が行われた。

ABSTRACT

In many supervised learning tasks, the entities to be labeled are related to each other in complex ways and their labels are not independent. For example, in hypertext classification, the labels of linked pages are highly correlated. A standard approach is to classify each entity independently, ignoring the correlations between them. Recently, Probabilistic Relational Models, a relational version of Bayesian networks, were used to define a joint probabilistic model for a collection of related entities. In this paper, we present an alternative framework that builds on (conditional) Markov networks and addresses two limitations of the previous approach. First, undirected models do not impose the acyclicity constraint that hinders representation of many important relational dependencies in directed models. Second, undirected models are well suited for discriminative training, where we optimize the conditional likelihood of the labels given the features, which generally improves classification accuracy. We show how to train these models effectively, and how to use approximate probabilistic inference over the learned model for collective classification of multiple related entities. We provide experimental results on a webpage classification task, showing that accuracy can be significantly improved by modeling relational dependencies.

研究の動機と目的

• 有向確率的関係モデルの限界、特に複雑な関係的依存関係のモデル化を制限するサイクル性制約を解消すること。
• 生成的手法よりも分類精度を向上させるために、関係データに対する判別的学習を可能にする枠組みの開発。
• 非有向グラフィカルモデルを用いて、相互に関連するエンティティ間のラベル相関をモデル化することで、効果的な集団分類を実現すること。
• 特徴量と関係構造の両方を活用するスケーラブルで正確な関係学習手法の提供。

提案手法

• 本稿は、特徴量と関係構造を前提としたラベルの同時分布をモデル化する条件付きマルコフネットワーク枠組みを提案する。
• 有向グラフィカルモデルを用いて、サイクルのない構造を必要とせず、サイクルや複雑な依存関係のモデル化を可能にする。
• 入力特徴量と関係的文脈を前提としたラベルの条件付き尤度を最適化することで、判別的学習を実行する。
• 複数の相互関連するエンティティの最も確率の高いラベル構成を計算するために、近似確率的推論技術を用いて推論を実行する。
• エンティティおよびその関係に対する特徴工学をサポートし、関係データの豊かな表現を可能にする。
• 関係的制約と特徴に基づく予測を尊重する形でラベルを更新することで、集団分類を実現する。

実験結果

リサーチクエスチョン

• RQ1 条件付きマルコフネットワークに基づく判別的モデルは、構造化データ内の関係的依存関係を効果的にモデル化できるか？
• RQ2 関係データに対する判別的学習は、独立分類や生成モデルと比較して、分類精度をどのように向上させるか？
• RQ3 非有向モデルは、有向モデルがモデル化できない複雑で循環的な関係的依存関係をどの程度正確に捉えることができるか？
• RQ4 実際の現場で、関係構造と特徴に基づく予測を用いた集団分類はどの程度有効か？
• RQ5 実世界の関係的分類タスクにおいて、ラベル相関をモデル化することで性能にどのような影響が生じるか？

主な発見

• 提案された枠組みは、関係的依存関係をモデル化することで、ウェブページ分類タスクにおける分類精度を顕著に向上させ、独立分類を上回る。
• 非有向モデルの使用により、有向モデルに見られるサイクル性制約が解消され、より柔軟で現実的である関係的モデル化が可能になる。
• 判別的学習は、特に複雑な関係的構造を有する状況において、生成的学習よりも高い分類精度を達成する。
• 学習済みモデルを用いた集団分類は、リンクされたエンティティ間のラベル相関を活用することで、より優れた性能を達成する。
• 本手法は大規模な関係データセットに対しても効果的にスケーリングでき、異なる特徴量および関係構造設定においても頑健であることが示された。