[논문 리뷰] Causal structure based root cause analysis of outliers

Dominik Janzing, Kailash Budhathoki외 2명|arXiv (Cornell University)|2019. 12. 05.

Anomaly Detection Techniques and Applications참고 문헌 9인용 수 23

한 줄 요약

이 논문은 알려진 인과 다항도형(DAG)과 기능적 인과 모델을 사용하여 다변량 시스템에서 이질성의 근본 원인을 규명하기 위한 인과 프레임워크를 제안한다. 조건부 이질성 점수를 도입하고, Shapley 값(Shapley values)을 사용하여 각 조상 변수가 목표 변수의 이질성 상태에 기여하는 정도를 정량화함으로써, 클라우드 모니터링이나 사기 탐지와 같은 시스템에서 비정상 행동의 정밀한 기여도 분석을 가능하게 한다.

ABSTRACT

We describe a formal approach to identify 'root causes' of outliers observed in $n$ variables $X_1,\dots,X_n$ in a scenario where the causal relation between the variables is a known directed acyclic graph (DAG). To this end, we first introduce a systematic way to define outlier scores. Further, we introduce the concept of 'conditional outlier score' which measures whether a value of some variable is unexpected *given the value of its parents* in the DAG, if one were to assume that the causal structure and the corresponding conditional distributions are also valid for the anomaly. Finally, we quantify to what extent the high outlier score of some target variable can be attributed to outliers of its ancestors. This quantification is defined via Shapley values from cooperative game theory.

연구 동기 및 목표

• 다변량 시스템에서 인과 구조가 알려진 상황에서 이질성 사건에 대한 '근본 원인' 개념을 체계화하는 것.
• 각 조상 변수가 목표 변수의 이질성 상태에 기여하는 정도를 체계적으로 정량화하는 방법을 개발하는 것.
• 기능적 인과 모델과 정보 이론적 이질성 점수를 활용하여 희귀하거나 극단적인 사건에 대한 인과적 설명을 가능하게 하는 것.
• 협동 게임 이론을 통해 Shapley 값으로 이질성 점수의 원칙적인 기여도 분배를 제공하는 것.

제안 방법

• 특정 꼬리 확률 경계를 만족하는 측정 가능한 함수로서 정보 이론적(IT) 이질성 점수를 정의하여, 이질성 확률이 지수적으로 감소하도록 보장한다.
• 인과 모델이 이상치에도 유효하다는 가정 하에, DAG에서 부모 변수의 값이 주어졌을 때 변수의 값이 얼마나 놀랍게 느껴지는지를 측정하는 조건부 이질성 점수를 도입한다.
• 각 변수를 부모 변수와 독립적인 노이즈의 함수로 표현하는 기능적 인과 모델(FCMs)을 사용하여 반사적 추론을 가능하게 한다.
• 협동 게임 이론의 Shapley 값을 활용하여 목표 변수의 총 이질성 점수를 그 조상 변수들 간에 공정하게 기여도로 분해한다.
• 공동 분포를 이질성 점수 공간의 단체형(simplex)으로 변환하여 꼬리 확률의 정확한 계산을 가능하게 한다.
• 모의 및 실세계 데이터를 대상으로 프레임워크를 검증하여 이질성 기여도 분석에서 뛰어난 강인성과 해석 가능성 확보.

실험 결과

연구 질문

• RQ1 알려진 인과 DAG를 가진 다변량 시스템에서 이질성 사건의 '근본 원인'을 어떻게 체계적으로 정의하고 정량화할 수 있는가?
• RQ2 목표 변수의 이질성 점수가 얼마나 많은 정도로 각 개별 조상 변수에 의해 기인하는가?
• RQ3 조건부 이질성 점수는 단순한 주변 이질성 탐지보다 더 정확하고 인과적인 비정상 값 설명을 제공할 수 있는가?
• RQ4 협동 게임 이론, 특히 Shapley 값은 어떻게 조상 간에 이질성 점수를 공정하게 분배하는 데 활용될 수 있는가?
• RQ5 인과 모델이 이상 관측치에도 유효하다는 가정 하에, 제안된 방법은 통계적으로 타당성을 유지하는가?

주요 결과

• 제안된 정보 이론적 이질성 점수는 관측된 점수 ≥ c 일 확률이 e^(-c)로 지수적으로 감소함을 보장하여 안정적이고 해석 가능한 이질성 정량화를 가능하게 한다.
• 조건부 이질성 점수는 이상 조건 하에서도 자식 변수의 값이 놀랍게 느껴지는 데에 기여하는 각 부모 변수의 기여도를 효과적으로 분리한다.
• Shapley 값 기반 기여도 분해는 목표 변수의 총 이질성 점수를 그 조상 변수들 간에 공정하고 유일하게 분해한다.
• 이 방법은 통계적 일致성을 유지한다: 인과 모델이 이상치에도 유효하다면, 변환된 단체형 공간 내에서 이질성 점수 분포는 여전히 타당하다.
• 실세계 및 모의 데이터에 대한 실험을 통해 이 프레임워크가 이질성의 진짜 근본 원인을 정확히 식별하며, 비인과적 기여도 분석 방법보다 뛰어난 성능을 보임을 확인했다.
• 이론적 분석을 통해 FCM 가정 하에 변수의 조건부 이질성 점수(부모 변수를 조건으로 한) 자체가 정보 이론적 이질성 점수임을 증명했다.