[논문 리뷰] Reliable Causal Discovery with Improved Exact Search and Weaker Assumptions

Ignavier Ng, Yujia Zheng외 2명|arXiv (Cornell University)|2022. 01. 14.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 민감도가 낮고 유한 표본에서의 약한 위반에 강건한 가정을 기반으로 하되, 민감도 기반 원인 발견 방법의 한계를 극복하기 위해 선형 가우시안 모델에 대해 확장 가능하고 신뢰할 수 있는 원인 발견 방법을 제안한다. 이는 더 약한 민감도 가정보다 더 약한 조건인 역공분산 행렬의 지원 기반 초구조 추정과 개선된 정확한 국소 A* 탐색을 결합한 것이다. 이 방법은 수백 개의 노드를 가진 그래프에서 높은 정확도를 달성하며, 기준 방법들보다 확장성과 민감도 위반에 대한 강건성에서 뛰어나다.

ABSTRACT

Many of the causal discovery methods rely on the faithfulness assumption to guarantee asymptotic correctness. However, the assumption can be approximately violated in many ways, leading to sub-optimal solutions. Although there is a line of research in Bayesian network structure learning that focuses on weakening the assumption, such as exact search methods with well-defined score functions, they do not scale well to large graphs. In this work, we introduce several strategies to improve the scalability of exact score-based methods in the linear Gaussian setting. In particular, we develop a super-structure estimation method based on the support of inverse covariance matrix which requires assumptions that are strictly weaker than faithfulness, and apply it to restrict the search space of exact search. We also propose a local search strategy that performs exact search on the local clusters formed by each variable and its neighbors within two hops in the super-structure. Numerical experiments validate the efficacy of the proposed procedure, and demonstrate that it scales up to hundreds of nodes with a high accuracy.

연구 동기 및 목표

• 유한 표본에서의 약한 위반에 민감한 민감도 기반 원인 발견 방법의 한계를 해결한다.
• 높은 계산 비용으로 인해 일반적으로 작은 그래프에 국한되는 정확한 점수 기반 원인 발견 방법의 확장성을 향상시킨다.
• 민감도보다 더 약한 조건인, 예를 들어 SSCF 조건과 같은 조건 하에서 渐近적으로 올바른 초구조 추정 방법을 개발한다.
• 각 변수와 초구조에서 두 번째 이웃까지의 이웃들로 구성된 국소 클러스터에서 정확한 탐색을 수행하는 국소 탐색 전략(Local A*)을 도입하여 확장성을 높이고 정확도를 유지한다.
• 제안된 방법이 대규모 그래프(최대 300개 노드)에서 높은 구조 복원 정확도를 달성하면서도, 비민감한 조건독립성에 대해 강건함을 입증한다.

제안 방법

• 민감도보다 더 약한 조건인 SSCF 조건 하에서 일관된 역공분산 행렬(정밀도 행렬)의 지원 기반으로 초구조를 추정한다.
• 이 초구조를 A* 또는 동적 프로그래밍(DP)과 같은 정확한 탐색 알고리즘의 탐색 공간을 제약하기 위해 활용하여 계산 복잡도를 감소시킨다.
• 각 변수와 초구조에서 두 번째 이웃까지의 이웃들로 구성된 국소 클러스터에서 정확한 탐색을 수행하는 국소 탐색 전략인 Local A*를 개발한다.
• 각 국소 클러스터 내에서 점수 기반 최적화(BIC 등)를 사용하여 SMR 조건 하에서 渐近적으로 올바른 결과를 확보한다.
• 초구조 추정과 국소 정확한 탐색을 결합하여 정확도와 확장성의 균형을 이루며, 대규모 그래프에서의 전역 탐색을 피한다.
• 역공분산 행렬의 지원이 조건부 독립 관계를 포착할 수 있음을 활용하여, 약한 민감도 위반 상황에서도 강건한 스케letal 복원이 가능하다.

실험 결과

연구 질문

• RQ1 민감도보다 더 약한 조건인 SSCF 또는 삼각형 민감도 조건 등에서 민감도 기반 초구조 추정이 가능한가?
• RQ2 정확한 점수 기반 원인 발견 방법을 대규모 그래프로 확장하면서도 渐近적 정확성을 유지할 수 있는가?
• RQ3 초구조 클러스터에서의 국소 탐색 전략이 전역 정확한 탐색의 최적성을 유지하면서도 계산 효율성을 향상시키는가?
• RQ4 실제로 약한 민감도 위반 상황에서 제안된 방법의 성능은 어떻게 되며, 특히 게으른 또는 제약 기반 기준 방법들과 비교해 볼 때 어떤가?
• RQ5 이 방법의 성능는 초구조 추정의 품질에 얼마나 의존하는가? 그래프 크기가 증가함에 따라 성능는 어떻게 변화하는가?

주요 결과

• 역공분산 행렬의 지원 기반으로 제안된 초구조 추정 방법은 SSCF 조건 하에서 渐近적으로 올바르며, 민감도보다 더 약한 조건이다.
• Local A*는 모든 테스트 설정에서 전역 최적 해를 달성하며, A*-SS와 동일한 성능을 보이며, 특히 대규모 그래프에서 다른 기준 방법들보다 뛰어난 구조 복원 성능을 보인다.
• 이 방법은 최대 300개 노드까지의 그래프에 확장 가능하며, Local A*는 합리적인 시간 내에 완료되지만 표준 A*는 약 20개 노드까지 제한된다.
• A*-SS와 Local A*는 민감도 위반의 약한 위반 상황에서 PC와 FGES를 크게 앞서며, 이러한 위반에 강건함을 입증한다.
• MMHC는 Local A*보다 빠르지만 대규모 그래프에서 구조 복원 성능가 훨씬 열 劣하므로, Local A*는 정확도-효율성의 균형을 더 잘 확보한다.
• 큰 표본 크기(n=10,000)에서는 방법 간 성능 격차가 좁아지며, 약한 민감도 위반이 덜 발생하기 때문이지만, Local A*는 강건성 덕분에 여전히 뛰어난 성능 유지를 한다.