[논문 리뷰] A generalization error bound for sparse and low-rank multivariate Hawkes processes

Emmanuel Bacry, Stéphane Gaïffas외 1명|arXiv (Cornell University)|2015. 01. 04.

Point processes and geometric inequalities참고 문헌 37인용 수 22

한 줄 요약

이 논문은 고주기 타임스탬프에서 다수의 상호작용 네트워크를 추론하기 위해 데이터 기반 접근법을 제안한다. 이는 $μat$-노름과 트레이스-노름 정규화를 적용한 페널라이즈드 다변량 하크스 프로세스를 사용하며, 일반화 오차 경계를 새롭게 설정하여 페널티를 정밀하게 조정함으로써 네트워크 복원 정확도를 향상시킨다. 이 경계는 분산 인식 정규화 스케일링을 가능하게 한다.

ABSTRACT

We consider the problem of unveiling the implicit network structure of user interactions in a social network, based only on high-frequency timestamps. Our inference is based on the minimization of the least-squares loss associated with a multivariate Hawkes model, penalized by $\ell_1$ and trace norms. We provide a first theoretical analysis of the generalization error for this problem, that includes sparsity and low-rank inducing priors. This result involves a new data-driven concentration inequality for matrix martingales in continuous time with observable variance, which is a result of independent interest. A consequence of our analysis is the construction of sharply tuned $\ell_1$ and trace-norm penalizations, that leads to a data-driven scaling of the variability of information available for each users. Numerical experiments illustrate the strong improvements achieved by the use of such data-driven penalizations.

연구 동기 및 목표

• 고주기 상호작용 타임스탬프로부터 소셜 미디어 내 숨겨진 네트워크 구조를 밝혀내는 것.
• 제한된 데이터로 복잡하고 고차원적인 사용자 상호작용 역학을 모델링하는 데 도전하는 것.
• 스패arsity와 저질서 구조를 정규화를 통해 통합한 이론적으로 탄탄한 방법을 개발하는 것.
• 사용자별 정보의 변동성에 적응하는 데이터 기반 페널티 스케일링을 도출하는 것.

제안 방법

• 다변량 하크스 프로세스 모델 기반의 최소 제곱 최소화 문제로 추론 문제를 수립한다.
• 상호작용 행렬의 스파arsity와 저질서 구조를 유도하기 위해 $μat$-노름과 트레이스-노름 정규화를 동시에 적용한다.
• 관측 가능한 분산을 포함한 연속 시간 행렬 마팅게일 농도 부등식을 새롭게 유도한다.
• 유도된 농도 부등식을 활용해 데이터 기반 분산 추정치에 의존하는 일반화 오차 경계를 수립한다.
• 사용자 상호작용 패턴의 경험적 변동성에 기반한 데이터 적응형 페널티 스케일링을 구성한다.
• 수치 실험을 통해 제안된 페널티 조정 방식이 네트워크 복원 성능 향상에 기여함을 검증한다.

실험 결과

연구 질문

• RQ1 고주기 타임스탬프로부터 사용자 상호작용 네트워크를 추론할 때 스파arsity와 저질서 구조를 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ2 혼합 노름을 적용한 페널라이즈드 다변량 하크스 프로세스의 일반화 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 사용자 상호작용 데이터의 본질적 변동성에 적응하는 데이터 기반 페널티 스케일링을 도출할 수 있는가?
• RQ4 제안된 방법은 표준 정규화 접근법에 비해 네트워크 복원 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 관측 가능한 분산을 포함한 새로운 연속 시간 행렬 마팅게일 농도 부등식이 유도되었으며, 이는 별개의 이론적 관심사가 있다.
• 일반화 오차 경계는 $μat$-노름과 트레이스-노름 정규화를 통해 스파arsity와 저질서 구조를 모두 반영한다.
• 이론적 분석을 통해 사용자별 상호작용 변동성에 따라 스케일링되는 정밀하게 조정된 데이터 적응형 페널티를 구성할 수 있다.
• 수치 실험을 통해 제안된 데이터 기반 페널티 조정 방식을 사용할 경우 네트워크 복원 성능이 크게 향상됨을 입증하였다.