[논문 리뷰] Learning Hawkes Processes from Short Doubly-Censored Event Sequences

Hongteng Xu, Dixin Luo외 1명|arXiv (Cornell University)|2017. 02. 22.

Point processes and geometric inequalities참고 문헌 32인용 수 23

한 줄 요약

이 논문은 의료 및 소셜 네트워크와 같은 실세계 응용 분야에서 흔히 발생하는 짧은 双重censored(SDC) 사건 시계열에서 하크스 과정을 학습하기 위해 샘플링-스티칭 데이터 합성 방법을 제안한다. 이는 불완전한 데이터로부터 장기 학습 시계열을 생성함으로써 시간 불변 및 시간 변화형 하크스 과정에 대한 학습 강건성을 향상시킨다. 이는 합성 및 실세계 데이터에서 모델 성능을 크게 향상시키며, MIMIC-III 환자 입원 데이터에도 효과적이다.

ABSTRACT

Many real-world applications require robust algorithms to learn point processes based on a type of incomplete data --- the so-called short doubly-censored (SDC) event sequences. We study this critical problem of quantitative asynchronous event sequence analysis under the framework of Hawkes processes by leveraging the idea of data synthesis. Given SDC event sequences observed in a variety of time intervals, we propose a sampling-stitching data synthesis method --- sampling predecessors and successors for each SDC event sequence from potential candidates and stitching them together to synthesize long training sequences. The rationality and the feasibility of our method are discussed in terms of arguments based on likelihood. Experiments on both synthetic and real-world data demonstrate that the proposed data synthesis method improves learning results indeed for both time-invariant and time-varying Hawkes processes.

연구 동기 및 목표

• 관측 간격이 짧아 전이 동역학을 충분히 포착할 수 없는 짧은 이중censored(SDC) 사건 시계열에서 하크스 과정을 학습하는 데 도전하는 것.
• 직접 SDC 시계열에서 학습할 경우 과적합 및 이전 전이 패턴 손실이 발생하는 한계를 극복하는 것.
• 불완전한 SDC 데이터로부터 장기적이고 타당한 학습 시계열을 생성함으로써 모델 강건성을 향상시키는 데이터 합성 프레임워크를 개발하는 것.
• 나이에 따라 변화하는 동적 질병 네트워크와 같은 시간 변화형 하크스 과정을 신뢰성 있게 학습할 수 있도록 하는 것.
• 완전한 사건 역사를 관찰할 수 없는 실세계 응용 분야(예: 환자 질병 진행 또는 직장 이직 패턴)에 실용적인 해결책을 제공하는 것.

제안 방법

• 시간 타임스탬프와 선택적 사건 특징을 사용하여, 목표 시계열과 유사도 기반으로 각 SDC 사건 시계열의 선조 및 후속 시계열을 샘플링하는 방법.
• 시간적 및 특징 기반 근접도를 캡처하는 커널 기반 접근 방식을 사용하여 시계열 간 유사도를 측정하는 방법.
• 샘플링된 선조, 원본 SDC 시계열, 후속 시계열을 연결하여 확장된 사건 시계열을 구성하는 방법.
• 합성 시계열의 가능도를 분석하여 데이터 합성 접근 방식의 합리성과 타당성을 입증하는 방법.
• 시간 불변 및 시간 변화형 하크스 과정 모두에 적용되며, 합성 데이터 기반 최대 가능도 추정을 통해 모수를 추정하는 방법.
• 비교를 위해 부트스트랩 기반 베이스라인을 사용하여 제안된 합성 방법의 학습 성능 우수성을 입증하는 방법.

실험 결과

연구 질문

• RQ1 짧고 이중censored된 사건 시계열에서의 데이터 합성은 불완전한 데이터에 직접 훈련하는 것보다 하크스 과정 학습에 개선을 이끌 수 있는가?
• RQ2 샘플링-스티칭 방법은 SDC 시계열에서 관측되지 않은 전이 패턴을 얼마나 효과적으로 복원하는가?
• RQ3 시간 변화형 하크스 과정(예: 연령에 따라 변화하는 질병 네트워크)에 대해 제안된 방법이 학습 강건성을 향상시키는가?
• RQ4 시간적 및 특징 기반 유사도를 통합할 경우 합성 시계열의 품질은 얼마나 향상되는가?
• RQ5 부트스트랩과 같은 기존 방법과 비교했을 때, 이 방법은 테스트 데이터에서 로그가능도 및 모델 일반화 능력 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 데이터 합성 방법은 합성 및 실세계 설정 모두에서 테스트 데이터의 로그가능도를 크게 향상시켜 베이스라인 방법을 압도한다.
• MIMIC-III 데이터셋에서, 특히 시간 변화형 역학을 포착하는 데 있어 부트스트랩 기반 경쟁자 대비 더 두드러진 로그가능도 향상을 달성했다.
• 학습된 동적 질병 네트워크는 생물학적으로 타당한 패턴을 드러냈다: 네트워크의 밀도는 연령 증가에 따라 증가하며, 노인 환자에서 다수의 공존 질환을 반영한다.
• 어린이 및 청소년에서는 질병 네트워크가 희박했으며, 심장 질환 및 종양과 같은 선천성 또는 전신성 질환에 의해 지배되었다.
• 중년기에는 질병 간 상호 전이가 강하게 나타나 복잡하고 다단계적인 질병 진행을 반영하는 밀도 높은 네트워크로 변화했다.
• 고령 환자(80세 이상)에서는 중년기 대비 네트워크가 더 희박해졌으며, 급성이고 연쇄적인 사건이 아닌 만성적이고 장기적인 질환에 의해 입원이 유도됨을 반영했다.