[논문 리뷰] Unsuitability of NOTEARS for Causal Graph Discovery

Marcus Kaiser, Maksim Sipos|arXiv (Cornell University)|2021. 04. 12.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 7

한 줄 요약

이 논문은 관측 데이터로부터 인과 그래프를 발견하는 데 널리 사용되는 NOTEARS 방법이 척도 불변성의 부재로 인해 진정한 인과 관계를 식별하는 데 부적합하다는 것을 보여준다. 이 방법은 변수 척도에 따라 심하게 편향되며, 이로 인해 동일한 인과적 구조를 가진 경우에도 일관되지도 않고 신뢰할 수 없는 DAG(방향성 비순환 그래프) 구조를 도출한다.

ABSTRACT

Causal Discovery methods aim to identify a DAG structure that represents causal relationships from observational data. In this article, we stress that it is important to test such methods for robustness in practical settings. As our main example, we analyze the NOTEARS method, for which we demonstrate a lack of scale-invariance. We show that NOTEARS is a method that aims to identify a parsimonious DAG from the data that explains the residual variance. We conclude that NOTEARS is not suitable for identifying truly causal relationships from the data.

연구 동기 및 목표

• 실제 실세계 환경에서 인과 그래프 발견에 대한 NOTEARS의 내성에 대해 조사한다.
• 관측 데이터에서 변수 척도가 다양할 경우 NOTEARS의 신뢰성을 해치는 핵심적 결함을 규명한다.
• NOTEARS가 인과적 구조보다 단순한 모델 적합을 우선시하여 간선 방향이 편향됨을 보여준다.
• 척도 의존성이 인과적 관계 복원을 주장하는 방법의 타당성을 무너지게 한다고 주장한다.

제안 방법

• 저자는 NOTEARS를 최소제곱 손실과 L1 정규화, 그리고 h(W) = trace(exp(W∘W)) − d = 0 조건을 통한 DAG 제약 조건을 만족하는 제약 최적화 문제로 분석한다.
• 변수 척도를 체계적으로 변화시켜 성능을 평가하기 위해 네 개의 변수를 가진 합성 선형 구조 방정식 모델(SEM)을 사용한다.
• 다양한 실행에서 척도 인자(1에서 32까지)를 증가시키며 적용하고, 결과적으로 도출된 DAG의 안정성을 평가하기 위해 비교 분석을 수행한다.
• 분석 결과, 진정한 인과적 구조가 그대로 유지되더라도 변수 척도 변화에 따라 유추된 DAG의 간선 방향이 극적으로 변화하는 것으로 나타났다.
• 저자는 NOTEARS와 유사한 손실 함수를 사용하고, log|det(I−W)|를 통한 부드러운 사이클 제약 조건을 포함하는 GOLEM과 같은 대안적 방법을 대조한다.
• NOTEARS가 프로베니우스 노름 손실에 의존하기 때문에 변수 분산에 민감한 반면, 마할라노비스 또는 로그우도 기반 손실을 사용하는 방법은 그렇지 않다고 주장한다.

실험 결과

연구 질문

• RQ1 변수 척도 변화가 NOTEARS가 유추한 DAG의 간선 방향에 어떤 영향을 미치는가?
• RQ2 실세계 데이터에서 입력 변수 척도 변화에 대해 NOTEARS는 어느 정도 내성적인가?
• RQ3 인과 그래프 발견을 위해 설계된 상황에서도 NOTEARS가 진정한 인과적 구조를 식별하지 못하는 이유는 무엇인가?
• RQ4 NOTEARS의 척도 비불변성은 손실 함수와 최적화 목표에 기인하는가?
• RQ5 GOLEM과 같은 대안적 방법은 척도 불변성과 인과적 구조 복원 측면에서 어떻게 비교되는가?

주요 결과

• 단일 변수의 척도를 32배로 증폭시키면 NOTEARS가 해당 변수와 그 부모 간의 간선 방향을 완전히 뒤바꾸는 것으로 나타났다.
• 이 방법은 분산이 더 큰 변수를 설명하는 데 편향되어 있어, 일관되지도 않고 신뢰할 수 없는 인과적 해석을 초래한다.
• NOTEARS는 척도 불변 결과를 도출하지 못하므로, 동일한 진정한 인과적 구조라도 변수 척도에 따라 다른 DAG를 도출할 수 있다.
• 최적화 목표가 진정한 인과적 관계 식별보다 잔차 분산 최소화에 중점을 두고 있어, 이로 인해 결과가 왜곡된다.
• 동일한 진정한 인과적 구조를 가진 데이터에 대해 척도가 조정된 경우, NOTEARS의 여러 실행 결과로 도출된 DAG가 서로 다를 수 있으며, 이는 데이터 파rameterization에 매우 민감함을 시사한다.
• 저자는 NOTEARS가 척도에 따라 기초적인 의존성을 보이므로 실세계 환경에서의 인과 발견에 부적합하다고 결론 내린다.