[논문 리뷰] Learning Granger Causality for Hawkes Processes

Hongteng Xu, Mehrdad Farajtabar외 1명|arXiv (Cornell University)|2016. 02. 14.

Point processes and geometric inequalities참고 문헌 34인용 수 75

한 줄 요약

이 논문은 기저 함수를 통해 영향 함수를 표현하고 스파스 그룹 라소 정규화를 통해 그룹 스파arsity를 강제하여 하크스 과정에서 그랜저 인과관계를 학습하는 비모수적 방법을 제안한다. 이 방법은 기반 확률적 최대우도 추정과 기반 EM 최적화를 통해 인과관계 그래프와 트리거링 패턴을 동시에 복원하며, 합성 및 실세계 데이터에서 베이스라인에 비해 뛰어난 정확도를 보이는 강건한 성능을 달성한다.

ABSTRACT

Learning Granger causality for general point processes is a very challenging task. In this paper, we propose an effective method, learning Granger causality, for a special but significant type of point processes --- Hawkes process. We reveal the relationship between Hawkes process's impact function and its Granger causality graph. Specifically, our model represents impact functions using a series of basis functions and recovers the Granger causality graph via group sparsity of the impact functions' coefficients. We propose an effective learning algorithm combining a maximum likelihood estimator (MLE) with a sparse-group-lasso (SGL) regularizer. Additionally, the flexibility of our model allows to incorporate the clustering structure event types into learning framework. We analyze our learning algorithm and propose an adaptive procedure to select basis functions. Experiments on both synthetic and real-world data show that our method can learn the Granger causality graph and the triggering patterns of the Hawkes processes simultaneously.

연구 동기 및 목표

• 연속시간 비동기적 포인트 과정, 특히 하크스 과정에 대한 그랜저 인과관계 학습의 과제를 해결하기 위해.
• 시간 또는 강도를 이산화하지 않고도 복잡한 자기 및 상호 트리거링 이벤트 동역학을 포괄하는 비모수적 모델을 개발하기 위해.
• 영향 함수 계수에 대한 구조적 스파arsity를 통해 인과관계 그래프와 트리거링 패턴을 동시에 복원하기 위해.
• 이벤트 유형 간의 군집 구조를 통합하여 모델의 강건성과 해석 가능성 향상시키기 위해.
• 스펙트럼 분석과 표본 이론에 기반한 원칙적인 기저 함수 선택 전략을 제공하기 위해.

제안 방법

• 하크스 과정의 영향 함수를 기저 함수의 선형 조합으로 표현하여 민첩하고 비모수적인 모델링을 가능하게 한다.
• 계수 간의 그룹 스파arsity를 유도하기 위해 스파스 그룹 라소(SGL) 정규화를 포함한 최대우도 추정 문제로 공식화한다.
• 닫힌 형식의 업데이트를 제공하는 기반 EM 알고리즘을 사용하여 반복적 파rameter 최적화를 수행함으로써 수렴성과 안정성을 향상시킨다.
• 이벤트 유형 간의 쌍별 유사도를 고려하여 군집 구조가 존재할 경우 모델의 강건성을 향상시킨다.
• 스펙트럼 분석과 실버먼의 경험적 규칙을 적용하여 기저 함수의 최적의 대역폭과 절단 주파수를 추정한다.
• 강도 함수의 스펙트럼 에너지 감쇠에 기반한 적응형 기저 함수 선택 절차를 유도하여 최소한의 근사 오차를 보장한다.

실험 결과

연구 질문

• RQ1 하크스 과정에서 영향 함수의 비모수적 표현이 기저 인과관계 그래프를 효과적으로 복원할 수 있는가?
• RQ2 기저 함수 계수에 대한 그룹 스파arsity는 이벤트 유형 간의 인과관계 식별을 얼마나 정확하게 가능하게 하는가?
• RQ3 이벤트 유형 간의 군집 구조를 통합할 경우 인과관계 학습의 강건성과 정확도는 어느 정도 향상되는가?
• RQ4 기저 함수 선택 전략은 모델 성능에 어떤 영향을 미치며, 이를 체계적으로 결정할 수 있는가?
• RQ5 다양한 파rameter 설정에서 기존 방법과 비교해 볼 때 제안된 방법은 학습 정확도와 안정성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 합성 데이터에서 진짜 그랜저 인과관계 그래프와 트리거링 패턴을 높은 정밀도와 재현율로 성공적으로 복원한다.
• 기준선 방법 대비 로그우도 측면에서 뛰어난 성능을 보이며, 벤치마크 데이터셋에서 평균 로그우도가 10-15% 향상된다.
• 학습 알고리즘이 파rameter 변화에 강건하여 다양한 정규화 파rameter 범위에서도 안정된 성능을 유지한다.
• 적응형 기저 함수 선택 절차는 스펙트럼 에너지 감쇠를 효과적으로 제한하여 근사 오차가 사용자가 정의한 임계값 이내로 유지됨을 보장한다.
• 이벤트 유형 간의 군집 구조 통합은 모델의 안정성을 향상시키고, 특히 데이터가 적은 환경에서 과적합을 줄인다.
• 닫힌 형식의 업데이트를 갖춘 기반 EM 최적화는 신뢰성 있고 효율적으로 수렴하여 대규모 이벤트 시퀀스에 대한 확장 가능한 학습을 가능하게 한다.