[論文レビュー] Longitudinal LASSO: Jointly Learning Features and Temporal Contingency for Outcome Prediction

Tingyang Xu, Jiangwen Sun+1 more|arXiv (Cornell University)|Oct 23, 2016

Tensor decomposition and applications参考文献 17被引用数 6

ひとこと要約

本稿では、特徴選択と時系列依存性の両方を同時に学習する新しい手法である Longitudinal LASSO を提案する。この手法は、モデルパラメータを特徴選択成分と時系列依存性成分に分解し、両者をブロック単位の LASSO で正則化することで、縦断的データにおける結果に影響を与える関連特徴と時間遅れを同時に特定する。このアプローチは、被験者内相関をモデル化し、加速勾配降下法を用いてグローバル収束を達成し、合成データおよび NLSY を含む実世界のデータセットにおいて、GEE や RE-EM 樹木、Granger モデリングを凌駆する性能を示した。

ABSTRACT

Longitudinal analysis is important in many disciplines, such as the study of behavioral transitions in social science. Only very recently, feature selection has drawn adequate attention in the context of longitudinal modeling. Standard techniques, such as generalized estimating equations, have been modified to select features by imposing sparsity-inducing regularizers. However, they do not explicitly model how a dependent variable relies on features measured at proximal time points. Recent graphical Granger modeling can select features in lagged time points but ignores the temporal correlations within an individual's repeated measurements. We propose an approach to automatically and simultaneously determine both the relevant features and the relevant temporal points that impact the current outcome of the dependent variable. Meanwhile, the proposed model takes into account the non-{\em i.i.d} nature of the data by estimating the within-individual correlations. This approach decomposes model parameters into a summation of two components and imposes separate block-wise LASSO penalties to each component when building a linear model in terms of the past $τ$ measurements of features. One component is used to select features whereas the other is used to select temporal contingent points. An accelerated gradient descent algorithm is developed to efficiently solve the related optimization problem with detailed convergence analysis and asymptotic analysis. Computational results on both synthetic and real world problems demonstrate the superior performance of the proposed approach over existing techniques.

研究の動機と目的

• 既存の縦断的モデルが、結果予測における関連特徴とその時系列的依存関係を同時に特定できないというギャップに対処すること。
• 繰り返し測定された縦断的データにおける被験者内相関をモデル化すること。これは、標準的手法でしばしば無視されたり単純化されたりしている。
• 現在の結果を予測するための影響力のある共変量とその関連する遅延時刻を同時に選択する統一フレームワークの構築。
• 時系列的依存性と相関構造を明示的にモデル化することで、標準的な正則化 GEE やグラフィカルな Granger モデリングに比べて予測精度を向上させること。
• 関連特徴と時系列選択問題を解くための一貫性があり収束する最適化アルゴリズムの提供。

提案手法

• モデルは係数行列を、特徴選択用と時系列依存性用の2つの成分に分解し、それぞれが別個のブロック単位の LASSO ペナルティを受ける。
• この手法は、過去 τ 回分の特徴量の測定値に基づく線形モデルを用い、加速勾配降下法によりパラメータを推定する。
• 被験者内相関を補正するために、作業的相関構造（例：AR(1)、交換可能、三重対角）を組み込み、モデルのロバスト性を向上させる。
• 最適化問題は、グローバル収束性と2次収束率が保証された加速勾配法により解かれる。
• 特徴選択行列（U）と時系列依存性行列（V）を推定し、残差相関をモデル化するための第3の行列（W）も導入する。
• この定式化により、漸近的解析のもとでモデルパラメータの一貫性推定が可能となり、統計的信頼性が保証される。

実験結果

リサーチクエスチョン

• RQ1 縦断的データにおいて、現在の結果を最もよく予測する特徴量とどの過去の時刻点のデータか？
• RQ2 被験者内相関を考慮しつつ、関連特徴とその時系列的依存関係を同時に同定する方法は何か？
• RQ3 統一された正則化フレームワークは、GEE やグラフィカルな Granger モデリングといった既存手法を上回る性能を示せるか？
• RQ4 被験者内相関をモデル化することで、独立性または単純な相関構造を仮定する場合と比較して、予測精度がどの程度向上するか？
• RQ5 提案された最適化アルゴリズムの収束性と統計的一致性はいかがなっているか？

主な発見

• NLSY データセットにおいて、三重対角の作業的相関構造を用いた Longitudinal LASSO（LGL）は、すべてのテスト状況で GEE や RE-EM 樹木、Granger モデリングを上回る性能を示した。
• LGL は、3年遅れのデータと三重対角相関構造を用いた場合、テスト nMSE が 0.883617 にまで低下し、同じ条件下で GEE の 0.892633 よりも顕著に低い値を記録した。
• この手法は、NLSY データセットの26個の特徴量から12個の主要な特徴量を同定した。これらには、喫煙、薬物使用、教育、家族背景が含まれており、これらは飲酒の過剰摂取行動に影響を与えると判明した。
• V 行列のグレーカラー図から、予測に使用されたのは過去2年分のデータのみであることが明らかになり、古い遅れは重要性が低いことが示された。これは、時系列的依存性学習の妥当性を裏付けた。
• 独立性を仮定した LGL は最も悪い性能を示し、被験者内相関をモデル化することが予測性能の向上に顕著に寄与することを示した。
• 加速勾配降下法は、2次収束率を達成するグローバル収束を実現した。また、漸近的解析により、推定パラメータの一貫性が確認された。