[論文レビュー] Comparing Aggregators for Relational Probabilistic Models

Seyed Mehran Kazemi, Bahare Fatemi+6 more|arXiv (Cornell University)|Jul 25, 2017

Bayesian Modeling and Causal Inference参考文献 15被引用数 4

ひとこと要約

本論文は、集約における変動する近隣変数集合の問題に対処するため、関係確率的モデルのための新規アグリゲーターを提案する。既存のモデル—例えばナイーブベイズ、ロジスティック回帰、ノイズありOR—は過信と情報損失を抱えることが示された。著者らは単純な修正と新規アグリゲーターを導入し、特に関係的ドロップアウトと改善された特徴集約による過信の低減において、既存手法を実証的に上回ることを示した。

ABSTRACT

Relational probabilistic models have the challenge of aggregation, where one variable depends on a population of other variables. Consider the problem of predicting gender from movie ratings; this is challenging because the number of movies per user and users per movie can vary greatly. Surprisingly, aggregation is not well understood. In this paper, we show that existing relational models (implicitly or explicitly) either use simple numerical aggregators that lose great amounts of information, or correspond to naive Bayes, logistic regression, or noisy-OR that suffer from overconfidence. We propose new simple aggregators and simple modifications of existing models that empirically outperform the existing ones. The intuition we provide on different (existing or new) models and their shortcomings plus our empirical findings promise to form the foundation for future representations.

研究の動機と目的

• 関係確率的モデルにおける集約の根本的課題を調査すること。ここでは、変数がサイズが変動する他の変数の集合に依存する。
• 平均、カウント、またはナイーブベイズやロジスティック回帰のような暗黙的モデルといった、既存のアグリゲーターの欠陥—過信と一般化性能の低下—を特定すること。
• 混同要因を除いて、幅広いアグリゲーター（包括して新規のものも含む）を独立して評価・比較し、それらの挙動と性能を理解すること。
• 既存モデルに対する単純で効果的な修正および新規アグリゲーターを提案し、関係学習タスクにおける予測性能の向上を図ること。

提案手法

• 著者らは、制御された問題においてさまざまなアグリゲーターを評価した：映画評価からユーザーの性別を予測する問題で、MovieLens 60Kおよび600Kデータセットを用いた。
• マークフ・ロジスティック・ネットワーク（MLN）、関係的ロジスティック回帰（RLR）、Problog（ノイズありOR）、RDN-Boost、行列分解といった標準的手法を比較した。
• 新規アグリゲーターとして、映画評価を特徴量として使用し、近隣数を制限する関係的ドロップアウトを適用する手法を導入した。
• モデルは、対数尤度を目的関数とする確率的勾配降下法で学習させ、ハイパーパrameterは5分割交差検証により調整した。
• 予測精度とキャリブレーションの評価に、平均二乗誤差（MSE）と対数尤度（LL）の両方を用いた。
• 主なイノベーションは、関係的ドロップアウトの使用であり、訓練中に近隣をランダムにマスクすることで、過学習と過信を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の関係確率的モデルは、近隣数が変動する集約タスクにおいて一般化性能が低いのか？
• RQ2 平均、カウント、またはナイーブベイズやロジスティック回帰のような暗黙的モデルといった、さまざまなアグリゲーターは、精度とキャリブレーションの観点でどのように性能を発揮するのか？
• RQ3 関係的ドロップアウトや特徴ベースの集約といった、既存モデルに対する単純な修正が、性能を顕著に向上させ得るか？
• RQ4 過信はモデル性能にどのような役割を果たし、アーキテクチャの変更によって効果的に緩和可能か？
• RQ5 各映画評価を別個の特徴として扱う新規アグリゲーターや重み付き集約を用いるモデルは、標準的な数値集約よりも優れた性能を示すか？

主な発見

• MLN/RLRモデルに関係的ドロップアウトを適用した場合、MovieLens 60KデータセットでMSE（0.199）とLL（0.849）が最低となり、他のすべての手法を上回った。
• 関係的ドロップアウトは過信を顕著に低減した。特に大きなMovieLens 600Kデータセットでは、MSE：0.148、LL：0.668という最良の性能を達成した。
• Problog や RDN-Boost は、その集約プリミティブに内在する制限により、性能が低かった。特にProblogは、大きなデータセットでの学習中にクラッシュした。
• 映画評価を特徴量として使用（例：評価が4以上かどうか）すると、存在のみのバイナリ特徴量よりもわずかに優れた性能を示し、評価値の大きさに有用な情報が含まれていることを示唆した。
• ベースラインの「0.5を予測」モデルは、MSE = 0.250、LL = 1.000を達成し、単純なモデルでも強力なベースラインとして機能することが示された。
• 映画ごとの平均評価（式7）を用いたモデルは、MovieLens 60KでMSE = 0.209、LL = 0.875を達成し、特徴工学が性能向上に寄与することを示した。