[논문 리뷰] Prediction models for network-linked data

Tianxi Li, Elizaveta Levina외 1명|arXiv (Cornell University)|2016. 02. 03.

Complex Network Analysis Techniques참고 문헌 59인용 수 9

한 줄 요약

이 논문은 예측 모델에 네트워크 기반 페널티를 제안하여 연결된 개인들이 유사한 행동을 보이는 네트워크 공명성(네트워크 구조에서 유사한 행동을 보이는 연결된 개체들)을 활용한다. 이는 연결된 노드들에 대해 유사한 예측을 유도함으로써 성능을 향상시킨다. 네트워크 구조를 통합함으로써 회귀, 일반화된 선형 모델 및 코ックス 모델 전반에서 성능이 향상되며, AddHealth 데이터를 사용한 청소년 행동 예측에서 특히 뛰어난 성능을 보인다. RNC(정규화된 네트워크 기반 분류)는 전반적인 레크리에이션 활동 및 마리화나 사용 예측에서 표준 모델을 능가한다.

ABSTRACT

Prediction algorithms typically assume the training data are independent samples, but in many modern applications samples come from individuals connected by a network. For example, in adolescent health studies of risk-taking behaviors, information on the subjects' social network is often available and plays an important role through network cohesion, the empirically observed phenomenon of friends behaving similarly. Taking cohesion into account in prediction models should allow us to improve their performance. Here we propose a network-based penalty on individual node effects to encourage similarity between predictions for linked nodes, and show that incorporating it into prediction leads to improvement over traditional models both theoretically and empirically when network cohesion is present. The penalty can be used with many loss-based prediction methods, such as regression, generalized linear models, and Cox's proportional hazard model. Applications to predicting levels of recreational activity and marijuana usage among teenagers from the AddHealth study based on both demographic covariates and friendship networks are discussed in detail and show that our approach to taking friendships into account can significantly improve predictions of behavior while providing interpretable estimates of covariate effects.

연구 동기 및 목표

• 독립 표본 가정을 초월하여 네트워크 구조 데이터를 예측 모델에 통합하기 위한 일반적인 통계적 프레임워크를 개발하는 것.
• 연결된 노드들 간의 유사한 예측을 유도하는 페널티를 도입하여 네트워크 연결 데이터에서의 의존 관측치 문제를 해결하는 것.
• 강한 인과적 가정 없이 네트워크 공명성을 활용하여 행동 연구의 예측 정확도를 향상시키는 것.
• 개별 공변량 효과가 네트워크 영향력과 함께 명시적으로 추정될 수 있는 해석 가능한 모델을 제공하는 것.

제안 방법

• 연결된 노드들에 대한 예측 유사성을 유도하기 위해 개별 노드 효과를 정규화하는 네트워크 기반 페널티 항을 도입한다.
• 손실 기반 최적화 프레임워크 내에서 이 페널티를 적용하여, 회귀, GLMs 및 코ックス 모델과 호환 가능하게 한다.
• 네트워크 인접행렬에서 유도된 라플라시안 행렬을 사용해 페널티를 정의하여 네트워크 구조 상에서의 매끄러움을 촉진한다.
• 정규화된 최적화 문제를 효율적으로 해결하기 위해 좌표 강하 알고리즘을 사용한다.
• 네트워크 형성 또는 인과관계를 모델링할 필요 없이 네트워크 정보를 페널티를 통해 통합한다.
• 희소 콜레프스키 분해 및 분산 시스템에서의 병렬 처리를 통해 확장 가능한 계산을 지원한다.

실험 결과

연구 질문

• RQ1 네트워크 공명성은 네트워크 연결 데이터를 가진 행동 연구에서 예측 정확도 향상에 활용될 수 있는가?
• RQ2 표준 예측 모델에 네트워크 구조를 공식적으로 통합할 수 있는가? 이는 i.i.d. 가정을 위반하지 않는다.
• RQ3 네트워크 페널티를 통합하면 공변량 효과 추정치가 더 해석 가능하고 안정적인가?
• RQ4 네트워크 연결 데이터셋에서의 누락 데이터에 대해 제안된 모델은 얼마나 강인한가?
• RQ5 실제 응용 분야, 예를 들어 청소년 행동 예측에서 표준 모델을 능가할 수 있는가?

주요 결과

• 레크리에이션 활동 예측에서 RNC(정규화된 네트워크 기반 분류)는 RMSE 1.163을 기록하여 OLS(1.219) 및 기타 기준 모델을 뛰어넘었다.
• 마리화나 사용 예측에서 RNC는 iAUC 0.748을 달성하여 코ックス 모델(0.727)과 부스팅 모델(0.742)을 능가했다.
• RNC-LA 변종은 pm=2에서 최고의 iAUC 0.767을 기록하여 누락 데이터에 대한 강건성을 입증했다.
• 모델 성능은 누락 데이터 비율이 50%까지 증가하는 다양한 수준에서도 안정적으로 유지되었으며, 모든 설정에서 일관된 순위를 보였다.
• 공변량 'race-black'는 OLS에서 RNC로의 전환 시 효과 크기가 21% 감소하여, 네트워크 공명성이 그 예측 신호의 일부를 포착하고 있음을 시사한다.
• 민감도 분석 결과, 데이터 보간 및 누락 데이터에 대한 결과가 강인했으며, 다양한 누락 수준에서도 모델 순위 변화가 없었다.