[논문 리뷰] On Learning Causal Structures from Non-Experimental Data without Any Faithfulness Assumption

Hanti Lin, Jiji Zhang|arXiv (Cornell University)|2018. 02. 20.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 4

한 줄 요약

이 논문은 진정성 조건을 가정하지 않더라도 최적의 수렴 성능을 달성하기 위해, 어떤 인과학습 알고리즘이라도 진정성 조건을 만족하는 모든 인과 베이지안 네트워크에서 수렴해야 한다는 점을 입증한다. 진정성 조건을 가정하지 않을 경우, 이러한 수렴은 보편적으로 달성될 수 없으며, 따라서 표준적인 진정성 구조를 목표로 삼는 학습 전략은 선택 사항이 아니라 최적의 학습 성능을 달성하기 위해 논리적으로 필수적이다.

ABSTRACT

Consider the problem of learning, from non-experimental data, the causal (Markov equivalence) structure of the true, unknown causal Bayesian network (CBN) on a given, fixed set of (categorical) variables. This learning problem is known to be so hard that there is no learning algorithm that converges to the truth for all possible CBNs (on the given set of variables). So the convergence property has to be sacrificed for some CBNs---but for which? In response, the standard practice has been to design and employ learning algorithms that secure the convergence property for at least all the CBNs that satisfy the famous faithfulness condition, which implies sacrificing the convergence property for some CBNs that violate the faithfulness condition (Spirtes et al. 2000). This standard design practice can be justified by assuming---that is, accepting on faith---that the true, unknown CBN satisfies the faithfulness condition. But the real question is this: Is it possible to explain, without assuming the faithfulness condition or any of its weaker variants, why it is mandatory rather than optional to follow the standard design practice? This paper aims to answer the above question in the affirmative. We first define an array of modes of convergence to the truth as desiderata that might or might not be achieved by a causal learning algorithm. Those modes of convergence concern (i) how pervasive the domain of convergence is on the space of all possible CBNs and (ii) how uniformly the convergence happens. Then we prove a result to the following effect: for any learning algorithm that tackles the causal learning problem in question, if it achieves the best achievable mode of convergence (considered in this paper), then it must follow the standard design practice of converging to the truth for at least all CBNs that satisfy the faithfulness condition---it is a requirement, not an option.

연구 동기 및 목표

• 진정성 조건을 가정하지 않고도, 인과학습 알고리즘의 표준 설계 방식이 진정성 조건을 만족하는 모든 인과 베이지안 네트워크에서 수렴하도록 하는 것이 타당한가를 판단하는 것.
• 진정성 네트워크에서의 수렴을 포기하지 않으면서도 강력한 수렴 모드를 달성할 수 있는 대체 학습 전략이 존재하는가를 조사하는 것.
• 비실험 데이터에서의 인과 구조 학습 맥락에서, 예를 들어 거의 모든 곳에서의 수렴, 국소적으로 균일한 수렴 등 다양한 수렴 방식을 체계화하고 분석하는 것.
• 최상의 수렴 행동을 달성하는 것은 본질적으로 모든 진정성 인과 구조에서의 수렴을 수반해야 하며, 진정성 조건을 가정하든 말든 간에 그러한 수렴이 필수적임을 증명하는 것.
• 밀도와 위상적 무시 가능성(예: 위상적으로 무시 가능한 집합) 등의 개념을 사용하여, 진정성 네트워크에서의 수렴을 포기하는 것이 최적의 학습 성능을 달성하기 위해 피할 수 없는 이유를 위상학적으로 설명하는 것.

제안 방법

• 인과 상태를 쌍 (G, P)로 표현하는 인과학습의 형식적 프레임워크를 도입하며, 여기서 G는 인과 그래프이고 P는 연합 확률분포이다.
• 다양한 수렴 모드를 정의한다: 거의 모든 곳에서의 수렴, 국소적으로 균일한 수렴, 그리고 부착된 국소적 균일성, 이를 통해 학습 알고리즘의 성능을 평가한다.
• 위상학적 개념—특히 인과 상태의 거리 공간에서의 조밀한 집합과 열린 공을 사용하여, 수렴 영역의 구조를 분석한다.
• 모순에 의한 증명을 사용한다: 최적의 수렴을 달성하는 학습 알고리즘이 어떤 진정성 네트워크에서 실패한다고 가정하고, 그에 가까운 인과 상태를 구성함으로써 수렴의 실패를 이끌어내어 모순을 유도한다.
• 핵심 보조정리(6.3 및 6.5)를 적용하여, 조밀하고 열린 수렴 영역이 존재할 경우, 모든 비최소 인과 상태에서 수렴이 포기되어야 한다는 것을 보여준다.
• 측도 이론적 개념(예: 르베그 측도) 대신 위상학적 무시 가능성 개념(예: 메이저 집합)을 사용함으로써, 범주형 변수를 초월하여 연속형 또는 무한 범위의 변수에 적용 가능하도록 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 진정성 조건을 가정하지 않고도, 인과 발견에서 진정성 인과 구조를 목표로 삼는 표준 설계 전략을 정당화할 수 있는가?
• RQ2 인과학습 알고리즘이 달성할 수 있는 가장 강력한 수렴 모드는 무엇이며, 이러한 모드는 수렴 영역에 어떤 제약을 가하는가?
• RQ3 모든 진정성 인과 베이지안 네트워크에서 수렴하지 않더라도 최적의 수렴을 달성할 수 있는 학습 알고리즘이 존재하는가?
• RQ4 인과 상태 공간의 위상적 구조는 인과 발견에서 보편적 수렴의 가능성에 어떤 영향을 미치는가?
• RQ5 통계적 비일치성에 의한 제약 조건을 고려할 때, 진정성 네트워크에서의 수렴과 비진정성 네트워크에서의 수렴 간의 필수적 트레이드오프는 무엇인가?

주요 결과

• 최상의 수렴 방식—특히 거의 모든 곳에서의 수렴과 부착된 국소적 균일성의 조합—을 달성하는 모든 인과학습 알고리즘은 진정성 조건을 만족하는 모든 인과 베이지안 네트워크에서 수렴해야 한다.
• 이러한 최적 알고리즘의 수렴 영역은 인과 상태 공간에서 조밀하고 열린 집합이어야 하며, 이는 비최소 인과 상태에서는 수렴을 달성할 수 없다는 것을 의미한다.
• 만약 그러한 알고리즘이 어떤 진정성 네트워크에서 수렴하지 못한다면, 그 네트워크의 이웃 영역에서도 수렴이 실패할 것이며, 이는 가정된 최적성과 모순된다.
• 모든 진정성 네트워크에서의 수렴이 필수적이라는 점은 진정성 조건을 가정하지 않더라도, 인과 상태 공간의 위상적 구조와 원하는 수렴 성질에서 유추된다.
• 측도 이론적 개념 대신 위상학적 무시 가능성 개념(예: 메이저 집합)을 사용함으로써, 결과는 범주형 변수를 초월해 연속형 또는 무한 범위의 변수로 일반화된다.
• 표준 설계 전략인 진정성 구조를 목표로 삼는 것은 편의성이나 가정의 문제를 넘어서, 최적의 수렴 성능를 달성하기 위한 논리적 필수 조건이다.