[논문 리뷰] CAUSE: Learning Granger Causality from Event Sequences using Attribution Methods

Wei Zhang, Thomas Kobber Panum외 3명|arXiv (Cornell University)|2020. 02. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 3인용 수 12

한 줄 요약

CAUSE는 복잡한 이벤트 종속성을 모델링하기 위해 신경 포인트 프로세스와 축약 기반 설명 방법을 융합하여 다중 유형의 이벤트 시계열에서 그랜저 인과관계를 학습하는 새로운 프레임워크이다. 이는 전통적인 하크스 프로세스 모델이 실패하는 억제 및 상호보완 효과가 존재하는 시나리오에서도 최신 기술 대비 뛰어난 성능을 보이며, 다양한 합성 및 실세계 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

We study the problem of learning Granger causality between event types from asynchronous, interdependent, multi-type event sequences. Existing work suffers from either limited model flexibility or poor model explainability and thus fails to uncover Granger causality across a wide variety of event sequences with diverse event interdependency. To address these weaknesses, we propose CAUSE (Causality from AttribUtions on Sequence of Events), a novel framework for the studied task. The key idea of CAUSE is to first implicitly capture the underlying event interdependency by fitting a neural point process, and then extract from the process a Granger causality statistic using an axiomatic attribution method. Across multiple datasets riddled with diverse event interdependency, we demonstrate that CAUSE achieves superior performance on correctly inferring the inter-type Granger causality over a range of state-of-the-art methods.

연구 동기 및 목표

• 다양한 이벤트 유형의 시계열에서 억제 및 상호보완 효과와 같은 복잡한 이벤트 상호의존성을 포괄하지 못하는 기존 모델의 한계를 해결하기 위해.
• 신경 포인트 프로세스의 모델 유연성과 인과관계 탐지에 대한 해석 가능성 간 격차를 메우기 위해.
• 고도로 표현력 있는 신경 포인트 프로세스 모델에서 그랜저 인과관계 통계를 추출하기 위한 확장 가능한, 모델에 종속되지 않는 방법을 개발하기 위해.
• 다양한 실세계 이벤트 데이터에서 자극적이고 억제적인 인과관계를 모두 견고하게 탐지할 수 있도록 하기 위해.

제안 방법

• 비동기적이고 다중 유형의 이벤트 시계열에서 복잡한 비선형 종속성을 포착하기 위해 민감한 신경 포인트 프로세스(NPP) 모델을 학습한다.
• 학습된 NPP에 축약 기반 방법(예: 통합 기울기)을 적용하여 입력 특성 중요도 기반의 새로운 그랜저 인과관계 통계를 계산한다.
• 대규모로 처리할 수 있도록 두 단계 배치 알고리즘을 설계하여, 수백만 건의 이벤트를 처리할 수 있도록 효율적인 축약 기반 인과관계 통계 계산을 가능하게 한다.
• 축약 점수를 그랜저 인과관계의 대체 지표로 사용하며, 높은 점수는 한 이벤트 유형이 다른 이벤트 유형에 미치는 예측적 영향력이 크다는 것을 나타낸다.
• 완전성 및 민감도와 같은 축약 방법의 공리적 성질을 확보하여 신뢰할 수 있는 인과관계 추정을 보장한다.
• 축약 방법의 모델에 종속되지 않는 특성을 활용하여, 아키텍처 제약 없이 어떤 NPP 아키텍처에서도 인과관계를 추출할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 축약 기반 설명 방법을 사용하는 신경 포인트 프로세스 모델이 복잡한 종속성을 가진 다중 유형의 이벤트 시계열에서 신뢰성 있게 그랜저 인과관계를 추론할 수 있는가?
• RQ2 이벤트 상호작용이 단순 자극 외에 억제 또는 상호보완 효과를 포함할 경우, 제안된 방법은 하크스 프로세스 기반 모델 대비 어떻게 성능을 발휘하는가?
• RQ3 NPP에서 축약 기반 인과관계 추정이 다양한 실세계 데이터셋에 일반화되는 정도는 어느 정도인가? 이는 다양한 이벤트 상호의존 패턴을 포함한다.
• RQ4 대규모 이벤트 시계열에서 축약 기반 인과관계 계산 방법의 계산 확장성은 어떠한가?
• RQ5 기존의 자극 전용 모델이 감지하지 못하는 바이어스가 있는 인과관계(예: 광고 → 드라마, 교육 → 엔터테인먼트)를 탐지할 수 있는가?

주요 결과

• 억제 데이터셋에서 CAUSE는 AUC(0.920 ± 0.012)와 텐던스 τ(0.533 ± 0.013) 모두 최고 성능을 기록하며 모든 기준선을 뛰어넘었다.
• 상호보완 데이터셋에서 CAUSE는 AUC 0.921 ± 0.021과 τ 0.532 ± 0.021을 기록하여 복잡한 비선형 이벤트 상호작용에 대한 강건성을 입증했다.
• MT 데이터셋에서 CAUSE는 AUC 0.991 ± 0.004와 τ 0.331 ± 0.003을 기록하여 대규모 실세계 데이터에서도 뛰어난 성능을 보였다.
• IPTV 데이터셋에서 CAUSE는 RPPN(신경 포인트 프로세스 기반 방법)보다 AUC가 38% 높아, 더 뛰어난 축약 품질을 입증했다.
• CAUSE는 광고 → 드라마, 교육 → 엔터테인먼트 등 의미 있는 부정적 인과관계를 탐지하였으며, 이는 자극 전용 모델인 HSG가 감지하지 못하는 영역이다.
• 두 단계 배치 알고리즘은 대규모 시계열에서 기계적 구현 대비 1,000배 이상의 속도 향상을 달성했으며, 일반적인 워크로드 하에서 거의 선형 확장성을 보였다.