[논문 리뷰] Improving Accuracy and Scalability of the PC Algorithm by Maximizing P-value

Joseph Ramsey|arXiv (Cornell University)|2016. 10. 03.

Bayesian Modeling and Causal Inference참고 문헌 2인용 수 8

한 줄 요약

이 논문은 PC 알고리즘의 개선된 버전인 PC-Max를 제안하며, 각 조건부 인력 테스트에 대해 가장 높은 p-값을 가진 조건부 집합을 선택하여 정확도와 확장성을 향상시킨다. p-값 최대화, 이중화된 화살표 방지, PC-Stable에서 영감을 얻은 병렬 처리를 조합함으로써, 병렬 처리된 컬리저 방향 결정의 모호함이 없고 고차원 데이터에서 강력한 확장성을 갖는 우수한 성능을 달성한다.

ABSTRACT

A number of attempts have been made to improve accuracy and/or scalability of the PC (Peter and Clark) algorithm, some well known (Buhlmann, et al., 2010; Kalisch and Buhlmann, 2007; 2008; Zhang, 2012, to give some examples). We add here one more tool to the toolbox: the simple observation that if one is forced to choose between a variety of possible conditioning sets for a pair of variables, one should choose the one with the highest p-value. One can use the CPC (Conservative PC, Ramsey et al., 2012) algorithm as a guide to possible sepsets for a pair of variables. However, whereas CPC uses a voting rule to classify colliders versus noncolliders, our proposed algorithm, PC-Max, picks the conditioning set with the highest p-value, so that there are no ambiguities. We combine this with two other optimizations: (a) avoiding bidirected edges in the orientation of colliders, and (b) parallelization. For (b) we borrow ideas from the PC-Stable algorithm (Colombo and Maathuis, 2014). The result is an algorithm that scales quite well both in terms of accuracy and time, with no risk of bidirected edges.

연구 동기 및 목표

• 고차원 데이터에서 원인 구조를 학습할 때 PC 알고리즘의 정확도와 확장성에 한계가 있음을 해결하기 위해.
• 투표 규칙을 p-값 최대화로 대체함으로써 병렬 처리된 컬리저 방향 결정의 모호함을 제거하기 위해.
• 조건부 인력 테스트의 병렬 처리 및 최적화를 통해 계산 효율성을 향상시키기 위해.
• 원인 구조 학습 중 이중화된 화살표를 도입하지 않음으로써 강건성을 확보하기 위해.
• 기존의 PC 변종인 CPC와 PC-Stable에 비해 확장성 있고 정확하며 모호하지 않은 대안을 제공하기 위해.

제안 방법

• PC-Max 알고리즘은 각 변수 쌍에 대해 가능한 모든 조건부 집합 중에서 가장 높은 p-값을 가진 조건부 집합을 선택하여 조건부 인력 테스트에서의 거짓 양성률을 감소시킨다.
• 최적의 조건부 집합을 탐색하기 위해 후보 분리 집합(sepsets)을 제공하는 CPC 알고리즘을 사용한다.
• 투표 메커니즘을 사용하는 대신, PC-Max는 가장 높은 p-값을 가진 sepset을 직접 선택함으로써 컬리저 방향 결정의 불확실성을 제거한다.
• 방향 결정 단계에서 이중화된 화살표를 생성하지 않아 순수한 방향성 비순환 그래프(DAG)를 보장한다.
• PC-Stable 알고리즘의 병렬 처리 기법을 통합하여 다수의 변수에 걸쳐 계산 속도를 향상시킨다.
• PC의 스켈레톤 발견 단계를 유지하지만, p-값 최대화를 통한 조건부 인력 테스트 전략을 향상시킨다.

실험 결과

연구 질문

• RQ1 p-값 최대화는 진정한 조건부 인력 관계를 식별하는 데 있어 PC 알고리즘의 정확도를 향상시키는가?
• RQ2 가장 높은 p-값 조건부 집합을 선택하는 것이 CPC와 같은 투표 기반 방법에 비해 컬리저 방향 결정의 모호함을 줄이는가?
• RQ3 p-값 최대화는 고차원 환경에서 얼마나 확장성 향상에 기여하는가?
• RQ4 정확도를 희생시키지 않고도 방향 결정 단계에서 이중화된 화살표를 완전히 피할 수 있는가?
• RQ5 PC-Stable 및 CPC와 같은 기존 PC 변종과 비교해 PC-Max의 성능과 런타임은 어떠한가?

주요 결과

• PC-Max는 조건부 집합 선택 시 p-값 최대화를 통해 거짓 양성률을 감소시킴으로써 기존 PC 및 CPC보다 더 높은 정확도를 달성한다.
• 투표 규칙을 제거하고 가장 높은 p-값 조건부 집합을 결정적으로 선택함으로써 컬리저 방향 결정의 모호함을 제거한다.
• PC-Stable에서 유래한 병렬 처리 기법을 통합함으로써 고차원 데이터에서 효과적으로 확장 가능하다.
• 원인 구조 학습 과정 全 과정에서 이중화된 화살표를 도입하지 않아 유효한 DAG 출력을 보장한다.
• 실험 결과, 다양한 표본 크기와 변수 수에서 PC-Max는 정확도와 런타임 효율성 측면에서 기준 방법을 능가하는 강력한 성능을 유지한다.
• p-값 최대화와 병렬 처리의 조합은 대규모 데이터셋에 적합한 확장성 있고 강건한 원인 발견 알고리즘을 제공한다.