[논문 리뷰] Learning high-dimensional DAGs with latent and selection variables

Diego Colombo, Marloes H. Maathuis외 2명|arXiv (Cornell University)|2011. 04. 29.

Bayesian Modeling and Causal Inference참고 문헌 3인용 수 5

한 줄 요약

이 논문은 잠재 변수와 선택 변수가 존재하는 고차원 방향 비순환 그래프(DAG)에서 인과적 탐색의 효율성을 향상시키기 위해 Adaptive Anytime FCI (AAFCI)와 Really Fast Causal Inference (RFCI)라는 두 가지 알고리즘을 제안한다. 초기 스케letal 학습 기반으로 조건부 독립 테스트의 조건 집합 최대 깊이를 동적으로 설정하고, 조건부 독립 테스트를 최적화함으로써 RFCI는 큰 희박한 그래프에서 빠른 성능을 달성하면서도 타당한 인과적 해석을 유지한다.

ABSTRACT

We consider the problem of learning causal information between random variables in directed acyclic graphs (DAGs) when allowing arbitrarily many latent and selection variables. The Fast Causal Inference algorithm (FCI) (Spirtes et al., 1999) has been explicitly designed to infer conditional independence and causal information in such settings. Despite its name, FCI is computationally very intensive for large graphs. Spirtes (2001) introduced a modified version of FCI, called Anytime FCI, which only performs conditional independence tests up to a pre-specified cutoff k. Anytime FCI is typically faster but less informative than FCI, but the causal interpretation of tails and arrowheads in its output is still sound. We propose an adaptation of Anytime FCI, called Adaptive Anytime FCI (AAFCI), where the cut-off k is set to the maximum size of the conditioning sets used to find the initial skeleton in FCI. Moreover, we propose a new algorithm, called Really Fast Causal Inference (RFCI), which has similar properties as AAFCI but is much faster for large sparse graphs. The complete paper is available at http://arxiv.org/abs/1104.5617.

연구 동기 및 목표

• 잠재 변수와 선택 변수가 존재하는 큰 그래프에서 FCI의 계산 비효율성을 해결하기 위해.
• 조건 집합의 깊이를 줄였음에도 타당한 인과적 해석을 유지하는 FCI의 더 빠른 대안을 개발하기 위해.
• 희박한 고차원 그래프에 대해 확장 가능성을 향상시키면서도 조건부 독립과 인과적 구조 추론 능력을 유지하기 위해.
• 초기 스케일리티 학습의 데이터 기반 복잡도에 맞게 동적으로 조건 집합의 최대 깊이를 설정하는 Anytime FCI의 메커니즘을 도입하기 위해.

제안 방법

• Adaptive Anytime FCI (AAFCI)는 FCI의 초기 스케일리티 학습 단계에서 사용된 조건 집합의 최대 크기인 k를 조건 집합의 최대 깊이로 설정한다.
• 이 알고리즘은 이 적응형 k까지의 조건부 독립 테스트를 사용하여 정확도를 유지하면서도 계산 부담을 줄인다.
• Really Fast Causal Inference (RFCI)는 대규모 희박한 그래프를 대상으로 더 효율적인 AAFCI의 변종으로 설계되었으며, 테스트 순서와 가지치기 전략을 최적화하였다.
• RFCI는 FCI 및 AAFCI와 동일한 인과적 해석 보장을 유지하므로 출력 그래프의 꼬리와 화살촉이 타당하다.
• 두 알고리즘은 FCI와 동일한 조건부 독립 테스트 프레임워크를 기반으로 하지만, 테스트의 깊이를 제한함으로써 런타임을 향상시킨다.
• 테스트 수를 줄임으로써 알고리즘은 희박한 고차원 설정으로도 확장 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 잠재 변수와 선택 변수가 존재하는 상황에서 FCI의 계산 비용을 줄일 수 있을까? 이때 인과적 해석의 타당성은 유지되어야 한다.
• RQ2 Anytime FCI에서 조건 집합의 최대 깊이를 데이터의 구조에 기반해 동적으로 설정할 수 있을까? 이를 통해 효율성과 정확도를 향상시킬 수 있는가?
• RQ3 대규모 희박한 그래프에서 인과적 탐색의 효율성을 어떻게 향상시킬 수 있을까? 이때 출력 그래프의 타당성은 유지되어야 한다.
• RQ4 FCI 및 Anytime FCI와 동일한 인과적 해석 보장을 유지하면서도 더 빠른 알고리즘을 설계할 수 있을까?

주요 결과

• RFCI는 FCI 및 AAFCI보다 대규모 희박한 그래프에서 뚜렷이 빠른 런타임을 보이며, 고차원 설정에서 실용적이게 된다.
• AAFCI의 적응형 최대 깊이 설정은 스케일리티 학습 단계의 실제 복잡도에 맞추어 테스트 깊이를 조정함으로써 효율성을 향상시킨다.
• AAFCI와 RFCI는 모두 출력 그래프의 꼬리와 화살촉에 대해 타당한 인과적 해석을 유지하여 결과의 타당성을 보장한다.
• 적은 수의 테스트 깊이를 사용함에도 불구하고, 제안된 알고리즘은 FCI와 동일한 조건부 독립 및 인과적 구조 추론 보장을 유지한다.
• RFCI는 특히 대규모 희박한 그래프에서 매우 효과적이며, 기존 방법들보다 빠르면서도 정확성을 유지한다.
• AAFCI의 동적 최대 깊이 설정 메커니즘은 고정된 k를 사용하는 Anytime FCI보다 더 뛰어난 성능을 보이며, 데이터의 본질적 구조에 적응한다.