[논문 리뷰] Longitudinal LASSO: Jointly Learning Features and Temporal Contingency for Outcome Prediction

Tingyang Xu, Jiangwen Sun외 1명|arXiv (Cornell University)|2016. 10. 23.

Tensor decomposition and applications참고 문헌 17인용 수 6

한 줄 요약

이 논문은 종단적 데이터에서 결과에 영향을 주는 관련 특징과 시간 지연을 동시에 학습하기 위해 모델 파라미터를 특징 선택과 시간적 의존성 구성요소로 분해하고, 블록별 LASSO를 통해 정규화하는 새로운 방법인 Longitudinal LASSO를 제안한다. 이 방법은 개인 내 상관관계를 모델링하고 가속화된 경사 하강법을 사용하여 전역 수렴을 달성하며, NLSY를 포함한 시뮬레이션 및 실세계 데이터셋에서 GEE, RE-EM 트리, Granger 모델링보다 뛰어난 성능을 보인다.

ABSTRACT

Longitudinal analysis is important in many disciplines, such as the study of behavioral transitions in social science. Only very recently, feature selection has drawn adequate attention in the context of longitudinal modeling. Standard techniques, such as generalized estimating equations, have been modified to select features by imposing sparsity-inducing regularizers. However, they do not explicitly model how a dependent variable relies on features measured at proximal time points. Recent graphical Granger modeling can select features in lagged time points but ignores the temporal correlations within an individual's repeated measurements. We propose an approach to automatically and simultaneously determine both the relevant features and the relevant temporal points that impact the current outcome of the dependent variable. Meanwhile, the proposed model takes into account the non-{\em i.i.d} nature of the data by estimating the within-individual correlations. This approach decomposes model parameters into a summation of two components and imposes separate block-wise LASSO penalties to each component when building a linear model in terms of the past $τ$ measurements of features. One component is used to select features whereas the other is used to select temporal contingent points. An accelerated gradient descent algorithm is developed to efficiently solve the related optimization problem with detailed convergence analysis and asymptotic analysis. Computational results on both synthetic and real world problems demonstrate the superior performance of the proposed approach over existing techniques.

연구 동기 및 목표

• 기존 종단적 모델이 결과 예측에서 관련 특징과 그 시간적 의존성을 동시에 식별하지 못하는 격차를 해결하기 위해.
• 일반적인 방법에서 종종 忽시되거나 단순화되는 반복 종단적 측정에서의 개인 내 상관관계를 모델링하기 위해.
• 현재 결과를 예측하기 위해 영향력 있는 공변량과 그 관련된 지연 시간 포인트를 동시에 선택하는 통합 프레임워크를 개발하기 위해.
• 시간적 의존성과 상관 구조를 명시적으로 모델링하여 표준 페널티 GEE 및 그래픽적 Granger 방법보다 예측 정확도를 향상시키기 위해.
• 통합적 특징 및 시간 선택 문제를 해결하기 위한 일관되고 수렴 가능한 최적화 알고리즘을 제공하기 위해.

제안 방법

• 모델은 계수 행렬을 특징 선택과 시간적 의존성 구성요소로 두 부분으로 분해하며, 각각 별도의 블록별 LASSO 페널티를 적용한다.
• 이 방법은 과거 τ개의 측정값에 기반한 선형 모델을 사용하며, 가속화된 경사 하강법 알고리즘을 통해 파라미터를 추정한다.
• 개인 내 상관관계를 반영하기 위해 작업 상관 구조(예: AR(1), 교환 가능, 삼중대각)를 도입하여 모델의 강건성을 향상시킨다.
• 최적화 문제는 전역 수렴과 2차 수렴 속도를 보장하는 가속화된 경사 하강법을 사용하여 해결한다.
• 이 방법은 특징 선택 행렬(U)과 시간적 의존성 행렬(V)을 추정하며, 잔차 상관관계를 모델링하기 위한 제3의 행렬(W)도 포함한다.
• 이 형식은 渐近 분석 하에서 모델 파라미터의 일관된 추정을 가능하게 하여 통계적 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 종단적 데이터에서 현재 결과를 가장 잘 예측하는 특징과 과거 시간 포인트는 무엇인가?
• RQ2 개인 내 상관관계를 고려하면서 관련 특징과 그 시간적 의존성을 동시에 식별할 수 있는 방법은 무엇인가?
• RQ3 GEE 및 그래픽적 Granger 모델링과 같은 기존 방법보다 통합 정규화 프레임워크가 종단적 결과 예측에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 개인 내 상관관계를 모델링할 경우, 독립성 또는 단순한 상관 구조를 가정하는 것과 비교해 예측 정확도는 어떻게 향상되는가?
• RQ5 제안된 최적화 알고리즘의 수렴 행동과 통계적 일관성은 어떠한가?

주요 결과

• NLSY 데이터셋에서 Longitudinal LASSO(LGL)는 삼중대각 작업 상관 구조를 사용하여 모든 시험 환경에서 GEE, RE-EM 트리, Granger 모델링을 앞서는 최고의 성능을 기록했다.
• LGL는 3년 지연 데이터와 삼중대각 상관 구조 조건에서 테스트 nMSE가 0.883617을 기록했으며, 동일 조건에서 GEE의 0.892633보다 유의미하게 낮았다.
• 이 방법은 NLSY 데이터셋의 26개 특징 중 12개의 핵심 특징을 선택했으며, 이는 흡연, 약물 사용, 교육, 가정 배경 등 빈번한 음주 행동에 영향을 주는 것으로 확인되었다.
• V 행렬의 회색 맵을 분석한 결과, 예측에 사용된 것은 과거 2년치 데이터뿐이었으며, 이는 오래된 지연 값은 덜 관련성이 있음을 시사하여 시간적 의존성 학습의 타당성을 뒷받침했다.
• 독립적 상관 구조를 가정한 LGL는 가장 열 劣한 성능을 보였으며, 이는 개인 내 상관관계를 모델링하는 것이 예측 성능 향상에 상당한 기여를 한다는 것을 입증했다.
• 가속화된 경사 하강법 알고리즘이 전역 수렴을 달성했고, 渐近 분석을 통해 추정된 파라미터의 일관성이 확인되었다.