[논문 리뷰] Sparse and low-rank multivariate Hawkes processes

Bacry, Emmanuel, Martin Bompaire외 2명|arXiv (Cornell University)|2015. 01. 04.

Point processes and geometric inequalities인용 수 11

한 줄 요약

이 논문은 고주기 사건 타임스탬프에서 잠재적 상호작용 네트워크를 추론하기 위한 희소성과 낮은 질량을 갖는 다변량 하크스 프로세스 모델을 제안한다. 최소제곱 손실 프레임워크 내에서 ℓ₁ 및 트레이스 노름 페널티를 조합함으로써 동시에 희소성과 낮은 질량의 구조 탐색이 가능하며, 연속시간 행렬 마틴갈에 대한 새로운 데이터 기반 농도 부등식을 통해 날카운 이론적 보장을 확보하고 적응형 페널티 조정을 가능하게 한다.

ABSTRACT

We consider the problem of unveiling the implicit network structure of node interactions (such as user interactions in a social network), based only on high-frequency timestamps. Our inference is based on the minimization of the least-squares loss associated with a multivariate Hawkes model, penalized by $\ell_1$ and trace norm of the interaction tensor. We provide a first theoretical analysis for this problem, that includes sparsity and low-rank inducing penalizations. This result involves a new data-driven concentration inequality for matrix martingales in continuous time with observable variance, which is a result of independent interest and a broad range of possible applications since it extends to matrix martingales former results restricted to the scalar case. A consequence of our analysis is the construction of sharply tuned $\ell_1$ and trace-norm penalizations, that leads to a data-driven scaling of the variability of information available for each users. Numerical experiments illustrate the significant improvements achieved by the use of such data-driven penalizations.

연구 동기 및 목표

• 라벨이나 분할된 캐스케이드 데이터에 의존하지 않고 고주기 사건 타임스탬프에서 잠재적 상호작용 네트워크를 추론하기 위해.
• 자기 자극성과 외부 강도를 갖는 다변량 하크스 프로세스를 사용하여 소셜 또는 금융 네트워크 내 사용자 상호작용을 모델링하기 위해.
• ℓ₁ 및 트레이스 노름 정규화를 통해 상호작용 행렬에 대한 희소성과 낮은 질량의 구조를 동시에 유도하기 위해.
• 추정 절차에서 페널티 매개변수를 이론적으로 탄탄하게 하고 데이터 기반으로 조정하는 방법을 개발하기 위해.
• 희소성과 낮은 질량 제약 조건 하에서 일반화 오차에 대한 날카운 오라클 부등식을 제공하기 위해.

제안 방법

• 관측된 사건 타임스탬프를 기반으로 다변량 하크스 프로세스를 위한 최소제곱 손실 함수를 수립한다.
• 희소성과 낮은 질량의 구조를 촉진하기 위해 상호작용 텐서와 기본 강도에 대해 공동 ℓ₁ 및 트레이스 노름 페널티를 도입한다.
• 관측 가능한 분산이 있는 연속시간 행렬 마틴갈에 대한 새로운 데이터 기반 농도 부등식을 유도하며, 스칼라 결과를 행렬 사례로 확장한다.
• 농도 부등식을 사용하여 정보 당 노드별 변동성에 따라 스케일링되는 날카운, 데이터 적응형 페널티 매개변수를 구성한다.
• 부드럽고 비부드러운 성분을 갖는 볼록 최적화 문제를 해결하기 위해 배치 프록시멀 그래디언트 강하 알고리즘을 사용한다.
• 시뮬레이션 데이터에 프레임워크를 적용하여 제안된 데이터 기반 페널티 전략의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 이벤트 데이터에서 네트워크 추론을 위해 ℓ₁ 및 트레이스 노름 페널티를 사용하여 다변량 하크스 프로세스에서 희소성과 낮은 질량의 구조를 효과적으로 유도할 수 있는가?
• RQ2 관측된 데이터에 기반하여 페널티 매개변수를 적응적으로 조정하여 추정 정확도를 향상시킬 수 있는가?
• RQ3 희소성과 낮은 질량 제약 조건 하에서 하크스 모델의 일반화 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 연속시간 행렬 마틴갈에 대한 새로운 농도 부등식을 도출하고 데이터 기반 페널티에 활용할 수 있는가?
• RQ5 고정 또는 교차검증 기반 조정 대비 데이터 기반 페널티가 성능에 얼마나 향상시키는가?

주요 결과

• 논문은 희소성과 낮은 질량 유도 페널티를 모두 포함하는 일반화 오차에 대한 날카운 오라클 부등식을 확립한다.
• 연속시간에서의 행렬 마틴갈에 대한 새로운 데이터 기반 농도 부등식이 유도되었으며, 이는 별도의 관심사이며 이전의 스칼라 결과를 확장한다.
• 이론적 분석을 통해 각 노드당 정보의 변동성 반영을 위한 데이터 적응형 페널티 매개변수 스케일링이 도출된다.
• 수치 실험 결과, 제안된 데이터 기반 페널티 전략을 사용할 경우 표준 또는 고정된 조정 방법 대비 성능 향상이 뚜렷하게 나타난다.
• 노이즈와 제한된 관측이 존재하는 상황에서도 고주기 사건 데이터에서 원래의 상호작용 네트워크 구조를 성공적으로 복원한다.
• 유도된 농도 부등식은 하크스 프로세스 매개변수 추정에서 더 날카운 경계와 더 신뢰할 수 있는 추론을 가능하게 한다.