[論文レビュー] LMLFM: Longitudinal Multi-Level Factorization Machine

Junjie Liang, Dongkuan Xu+2 more|arXiv (Cornell University)|Nov 11, 2019

Recommender Systems and Techniques参考文献 34被引用数 4

ひとこと要約

LMLFM は、複雑な相関構造（縦断的相関とクラスタ相関を含む）を有する高次元縦断的データにおいて、固定効果とランダム効果を同時に選択する画期的な縦断的マルチレベル要因分解機械である。階層ベイズ枠組みと二段階のラプラス事前分布、反復的条件モード最適化を用い、5,000変数を超えるシミュレート済みおよび実世界のデータにおいて、最先端手法に比べて優れた予測精度、スパarsity、スケーラビリティを達成した。

ABSTRACT

We consider the problem of learning predictive models from longitudinal data, consisting of irregularly repeated, sparse observations from a set of individuals over time. Such data often exhibit {\em longitudinal correlation} (LC) (correlations among observations for each individual over time), {\em cluster correlation} (CC) (correlations among individuals that have similar characteristics), or both. These correlations are often accounted for using {\em mixed effects models} that include {\em fixed effects} and {\em random effects}, where the fixed effects capture the regression parameters that are shared by all individuals, whereas random effects capture those parameters that vary across individuals. However, the current state-of-the-art methods are unable to select the most predictive fixed effects and random effects from a large number of variables, while accounting for complex correlation structure in the data and non-linear interactions among the variables. We propose Longitudinal Multi-Level Factorization Machine (LMLFM), to the best of our knowledge, the first model to address these challenges in learning predictive models from longitudinal data. We establish the convergence properties, and analyze the computational complexity, of LMLFM. We present results of experiments with both simulated and real-world longitudinal data which show that LMLFM outperforms the state-of-the-art methods in terms of predictive accuracy, variable selection ability, and scalability to data with large number of variables. The code and supplemental material is available at \url{https://github.com/junjieliang672/LMLFM}.

研究の動機と目的

• 固定効果とランダム効果が事前には指定されていない高次元縦断的データから予測モデルを学習する課題に対処すること。
• 縦断的相関（LC）とクラスタ相関（CC）を含む複雑な相関構造を考慮しながら、固定効果とランダム効果を同時に選択すること。
• ハイパーパrameterチューニングへの依存を低減し、変数数が多いデータにおけるスケーラビリティを向上させること。
• 縦断的設定において非線形相互作用とスパースで解釈可能な表現を効果的にモデリングすること。
• 従来の混合効果モデルが変数数の増加に伴いスケーリングが著しく悪化するのとは対照的に、証明可能な収束性と計算効率を備えた代替手法を提供すること。

提案手法

• LMLFM は、二層のラプラス事前分布を用いた階層ベイズ定式化により、因子分解機械（FM）を縦断的データに拡張する。
• 最初のラプラス事前分布は、潜在的要因表現におけるスパarsityを誘導し、高次元データからの効率的学習を可能にする。
• 2番目のラプラス事前分布は、個々の個人やクラスタごとに変化するランダム効果と、全個人に共通する固定効果を区別し、自動的に効果選択を可能にする。
• モデルは反復的条件モード（ICM）アルゴリズムを用いて訓練され、強力な収束保証と計算効率を確保する。
• LMLFM は、個体レベルとグループレベルの効果を統合した統一された確率的枠組み内に、非線形相互作用と相関構造（LC と CC）を同時にモデル化する。
• このフレームワークにより、広範なハイパーパrameterチューニングを必要とせず、変数選択が自動的に行われ、モデルの解釈可能性とスケーラビリティが向上する。

実験結果

リサーチクエスチョン

• RQ1 複雑な相関構造（縦断的相関とクラスタ相関）を考慮しつつ、高次元縦断的データにおいて固定効果とランダム効果を統合的に選択できるモデルは構築可能か？
• RQ2 LMLFM は、シミュレート済みおよび実世界の縦断的データにおいて、最先端のベースラインと比較して予測精度と変数選択性能で優れているか？
• RQ3 LMLFM は、変数数が 5,000 を超えるデータセットにおいて、従来の混合効果モデルが失敗する状況でもスケーリング可能か？
• RQ4 LMLFM は、実データにおいて縦断的相関（LC）とクラスタ相関（CC）の存在と優位性を効果的に特定できるか？
• RQ5 LMLFM は、健康・社会科学分野の分野固有の知見と整合するスパースで解釈可能なモデルを生成できるか？

主な発見

• LMLFM は 5,000 変数を超える縦断的データを効果的にモデル化できたが、従来の混合効果モデルは変数数が 100 を超えると失敗した。
• 1,553 変数を有する GSS データセットにおいて、LMLFM はすべてのベースラインの中で最高の R² スコアを達成し、FM や MLLASSO、RF に顕著に優れた予測精度を示した。
• 1,199 個のうち 126 個の非ゼロ固定効果が特定され、絶対値が 0.1 を超える特徴量はたった 6 個にとどまり、高いスパarsity と効果的な変数選択が裏付けられた。
• GSS データにおいてランダム効果行列 Θ^O のスパarsity 率は 84.9% に達し、クラスタ相関（CC）が縦断的相関（LC）を強く上回っていることを示唆した。
• LMLFM が特定した変数は、結婚、健康、経済的満足度、宗教的関与といった幸福の予測要因に関する既存の研究結果と整合的であった。
• GSS データにおいて LMLFM は縦断的相関（LC）の存在を否定したが、これは調査の間隔が長く、観測間の時間的連続性が乏しかったためと推定され、クラスタ相関（CC）の優位性が確認された。