[論文レビュー] A Learning Algorithm for Relational Logistic Regression: Preliminary Results

Bahare Fatemi, Seyed Mehran Kazemi+1 more|arXiv (Cornell University)|Jun 28, 2016

Bayesian Modeling and Causal Inference参考文献 21被引用数 6

ひとこと要約

本稿では、Wekaを用いたオフザシェルパrameter学習と階層的構造学習を組み合わせた、関係的ロジスティック回帰（RLR）のための新しい学習アルゴリズムを提案する。修正されたMovieLensデータセット上で、RLRが標準的ロジスティック回帰およびRDN-Boostを上回ることを示しているが、隠れ特徴を組み込むと予測の過信が生じるため、平均正則化が必要となる。

ABSTRACT

Relational logistic regression (RLR) is a representation of conditional probability in terms of weighted formulae for modelling multi-relational data. In this paper, we develop a learning algorithm for RLR models. Learning an RLR model from data consists of two steps: 1- learning the set of formulae to be used in the model (a.k.a. structure learning) and learning the weight of each formula (a.k.a. parameter learning). For structure learning, we deploy Schmidt and Murphy's hierarchical assumption: first we learn a model with simple formulae, then more complex formulae are added iteratively only if all their sub-formulae have proven effective in previous learned models. For parameter learning, we convert the problem into a non-relational learning problem and use an off-the-shelf logistic regression learning algorithm from Weka, an open-source machine learning tool, to learn the weights. We also indicate how hidden features about the individuals can be incorporated into RLR to boost the learning performance. We compare our learning algorithm to other structure and parameter learning algorithms in the literature, and compare the performance of RLR models to standard logistic regression and RDN-Boost on a modified version of the MovieLens data-set.

研究の動機と目的

• 存在記号に依存する既存の関係的学習アルゴリズムの限界を解決し、関係的カウントを効果的に捉えることができない点を改善する。
• 原理的階層を持つ論理式の判別的構造学習を可能にするRLRの学習アルゴリズムを開発する。
• 個体に関する隠れ特徴を組み込むことでモデルの精度を向上させるとともに、予測の過信を緩和する。
• 実世界の関係的データセット上で、RLRの性能を標準的ロジスティック回帰およびRDN-Boostと比較する。
• 階層的仮定とL1正則化を用いることで、重複するモデル学習を削減し、特徴選択を向上させる可能性を示す。

提案手法

• SchmidtとMurphyの階層的仮定を適用：複雑な論理式（例：$a \land b$）を追加するのは、その部分論理式（$a$, $b$）が以前のモデルで有効であると証明された場合に限る。
• ALEPHを用いて構造学習のための候補論理式を生成し、その後、階層的（L1）正則化を用いて各複雑度レベルでの特徴選択を行う。
• 論理式をグランド化することで関係的RLR学習問題を非関係的問題に変換し、その後Weckaのロジスティック回帰学習器を用いてパrameter学習を実行する。
• ユーザー固有の統計などの隠れ特徴をRLRモデルに組み込み、予測性能を向上させる。
• 隠れ特徴によって引き起こされる予測の過信を是正するため、RLRの予測値をデータの平均に正則化する。
• 5分割交差検証を用いてモデルを評価し、テストセットにおける正答率と平均条件付き対数尤度（ACLL）を測定する。

実験結果

リサーチクエスチョン

• RQ1 従来の論理学習器と比較して、階層的構造学習アプローチはRLRにおける有効な関係的特徴の発見を改善するか？
• RQ2 隠れ特徴の組み込みが、RLRモデルの性能およびキャリブレーションに与える影響は何か？
• RQ3 RLRは、関係的データ上でユーザーのデモグラフィック要因を予測する際、標準的ロジスティック回帰およびRDN-Boostをどの程度上回るか？
• RQ4 階層的正則化の使用は、性能を維持または向上させつつ、モデル再学習の反復回数を削減するか？
• RQ5 存在記号に基づくルールに依存せず、関係的カウント（例：評価されたアクション映画の数）を効果的にモデル化できるか？

主な発見

• 修正されたMovieLensデータセット上で、RLRは標準的ロジスティック回帰およびRDN-Boostよりも高い正答率とより良い平均条件付き対数尤度（ACLL）を達成した。
• 隠れ特徴の組み込みにより、予測正答率が向上し、平均絶対誤差（MAE）が低下した。これは、モデル表現力の向上を示している。
• 隠れ特徴の導入により、モデルが過信的になり、予測確率が0および1に偏る傾向が生じた。この問題を是正するため、平均正則化が必要となった。
• 階層的構造学習アプローチにより、各複雑度レベルでの特徴選択が可能になり、重複するモデル学習が削減され、効率が向上した。
• 本手法は、存在記号に基づくモデルが集計に苦労するような関係的カウント（例：評価されたアクション映画の数）を、より効果的に捉えることに成功した。
• 結果から、RLRの集計メカニズムは、存在記号に依存する従来の関係的学習アルゴリズムよりも、関係的カウントのモデリングに適していると考えられる。