[논문 리뷰] Order-independent constraint-based causal structure learning

Diego Colombo, Marloes H. Maathuis|arXiv (Cornell University)|2014. 01. 01.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 466

한 줄 요약

이 논문은 기존에 입력 변수 순서에 따라 결과가 달라지는 제약 기반 인과적 구조 학습 알고리즘(PC, FCI, RFCI 등)에 순서에 영향을 받지 않는 수정안을 제안한다. 특히 고차원 설정에서 이 문제가 더욱 심각해지므로, 통계적 일致성과 함께 고차원 환경에서도 안정적이고 일관된 결과를 얻을 수 있도록 개선된 알고리즘을 제시한다. 시뮬레이션 및 실제 효모 유전자 데이터에서 성능 향상과 안정성 향상을 입증하였다.

ABSTRACT

We consider constraint-based methods for causal structure learning, such as the PC-, FCI-, RFCI- and CCD- algorithms (Spirtes et al., 1993, 2000; Richardson, 1996; Colombo et al., 2012; Claassen et al., 2013). The first step of all these algorithms consists of the adjacency search of the PC-algorithm. The PC-algorithm is known to be order-dependent, in the sense that the output can depend on the order in which the variables are given. This order-dependence is a minor issue in low-dimensional settings. We show, however, that it can be very pronounced in high-dimensional settings, where it can lead to highly variable results. We propose several modifications of the PC-algorithm (and hence also of the other algorithms) that remove part or all of this order-dependence. All proposed modifications are consistent in high-dimensional settings under the same conditions as their original counterparts. We compare the PC-, FCI-, and RFCI-algorithms and their modifications in simulation studies and on a yeast gene expression data set. We show that our modifications yield similar performance in low-dimensional settings and improved performance in high-dimensional settings. All software is implemented in the R-package pcalg.

연구 동기 및 목표

• PC, FCI, RFCI, CCD와 같은 제약 기반 인과적 구조 학습 알고리즘에서 변수 입력 순서에 따라 결과가 달라지는 문제를 다루며, 이는 특히 고차원 설정에서 매우 심각한 영향을 미칠 수 있다.
• 고차원 설정에서 순서 의존성이 특히 심화되어 인과 그래프의 결과가 매우 변동성이 크고 신뢰할 수 없게 되는 점을 규명한다.
• 기존 방법과 동일한 조건 하에서 통계적 일치성을 유지하면서도 순서 의존성을 감소 또는 제거할 수 있도록 PC-알고리즘 및 그 확장판에 대한 수정안을 개발한다.
• 공통된 알고리즘 구성 요소를 활용하여 FCI, RFCI, CCD와 같은 다른 제약 기반 알고리즘에도 적용 가능한 수정안을 보장한다.
• 포괄적인 시뮬레이션 연구와 효모 유전자 발현 데이터 세트에 대한 실제 응용을 통해 개선 사항을 검증한다.

제안 방법

• 조건부 이상성 테스트 기반의 일관된 변수 순서 전략을 도입하여 PC-알고리즘의 인접성 탐색 단계를 순서에 영향을 받지 않도록 수정한다.
• 스켈레톤 발견 단계 동안 동적으로 변수 순서를 조정하는 메커니즘을 도입하여, 입력 순서에 관계없이 동일한 스켈레톤을 복원할 수 있도록 보장한다.
• 기존 PC-알고리즘의 조건부 이상성 테스트 프레임워크를 유지하되, v-구조 및 조건부 이상성 쿼리의 처리 순서를 재구성한다.
• 동일한 원리를 FCI 및 RFCI 알고리즘의 각각의 스켈레톤 및 방향 결정 단계에 적용하여 순서에 영향을 받지 않는 접근법을 확장한다.
• 모든 수정 사항이 기존 알고리즘과 동일한 가정 하에 고차원 설정에서도 통계적 일치성을 유지하도록 보장하며, 이는 충실성과 희박한 조건부 이상성 구조를 포함한다.
• 모든 제안된 알고리즘을 재현 가능하고 연구자들이 널리 이용할 수 있도록 R 패키지 pcalg에 구현한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 PC, FCI, RFCI와 같은 제약 기반 인과적 구조 학습 알고리즘의 출력에 변수 순서가 어느 정도 영향을 미치는가?
• RQ2 PC-알고리즘에 순서 의존성을 제거하면서도 고차원 데이터에서 통계적 일치성을 유지할 수 있는 수정안을 설계할 수 있는가?
• RQ3 시뮬레이션 연구에서 순서에 영향을 받지 않는 PC, FCI, RFCI의 변형판은 원래 알고리즘 대비 정확성과 안정성 측면에서 어떻게 비교되는가?
• RQ4 제안된 수정안은 유전자 발현 데이터 세트와 같은 실제 고차원 데이터에서 성능 향상에 기여하는가?
• RQ5 동일한 순서에 영향을 받지 않는 원칙이 FCI 및 RFCI와 같은 다수의 제약 기반 알고리즘으로 일반화될 수 있는가?

주요 결과

• 제안된 순서에 영향을 받지 않는 수정안은 원래 PC-알고리즘의 출력가 고차원 설정에서 입력 변수 순서에 매우 민감했던 점을 크게 감소시켰다.
• 저차원 설정에서는 수정된 알고리즘이 원래 PC, FCI, RFCI 알고리즘과 비교해 성능이 유사하여 정확도 손실이 없음을 확인하였다.
• 효모 유전자 발현 데이터 세트에서 순서에 영향을 받지 않는 변형판은 원래 알고리즘보다 더 안정적이고 생물학적으로 타당한 인과적 구조를 도출하였다.
• 시뮬레이션 연구를 통해 수정된 알고리즘이 고차원 환경에서도 원래 방법과 동일한 조건 하에서 통계적 일치성을 유지함을 확인하였다.
• 수정 사항은 FCI 및 RFCI로도 성공적으로 확장되어, 여러 제약 기반 인과 발견 프레임워크에서 순서에 영향을 받지 않는 것이 가능함을 입증하였다.
• 모든 구현 사항은 R 패키지 pcalg에 포함되어 있어 연구자들이 널리 활용하고 연구 재현을 쉽게 할 수 있도록 하였다.