[논문 리뷰] A Comparison of Public Causal Search Packages on Linear, Gaussian Data with No Latent Variables

Joseph Ramsey, Bryan Andrews|arXiv (Cornell University)|2017. 09. 13.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 7

한 줄 요약

이 논문은 선형, 가우시안, 비순환 그래픽 모델에서 잠재변수가 없는 경우에 대해 다섯 가지 공개된 원인 발견 패키지—Tetrad (Java), BNT (Matlab), pcalg (R), bnlearn (R)—을 평가한다. 표본 크기(100–1000), 변수 수(50–500), 그래프 밀도(2–6)가 다양한 270개의 데이터셋을 사용하여 인접성 정확도와 방향성 정확도, 실행 시간을 평가한다. Tetrad는 특히 고차원 설정에서 다른 패키지들을 뛰어넘는 성능을 보이며, bnlearn과 pcalg는 중간 설정에서 뛰어난 성능을 보이고, BNT는 뚜렷하게 느린 편이다.

ABSTRACT

We compare Tetrad (Java) algorithms to the other public software packages BNT (Bayes Net Toolbox, Matlab), pcalg (R), bnlearn (R) on the \vanilla" task of recovering DAG structure to the extent possible from data generated recursively from linear, Gaussian structure equation models (SEMs) with no latent variables, for random graphs, with no additional knowledge of variable order or adjacency structure, and without additional specification of intervention information. Each one of the above packages offers at least one implementation suitable to this purpose. We compare them on adjacency and orientation accuracy as well as time performance, for fixed datasets. We vary the number of variables, the number of samples, and the density of graph, for a total of 27 combinations, averaging all statistics over 10 runs, for a total of 270 datasets. All runs are carried out on the same machine and on their native platforms. An interactive visualization tool is provided for the reader who wishes to know more than can be documented explicitly in this report.

연구 동기 및 목표

• 표준화되고 현실적인 기준 작업에서 널리 사용되는 공개 원인 탐색 패키지 간의 직접 비교를 제공하기 위해.
• 동일한 조건에서 인접성 및 방향성 정확도, 실행 시간의 성능 차이를 평가하기 위해.
• 향후 알고리즘 개발 및 원인 발견 분야의 도구 선택을 위한 기준을 설정하기 위해.
• 표와 요약을 넘어서 세부 결과를 탐색할 수 있는 상호작용형 시각화 도구를 제공하기 위해.

제안 방법

• 잠재변수가 없는 선형 가우시안 구조적 방정식 모델에서 270개의 데이터셋을 시뮬레이션하며, 표본 크기(100, 500, 1000), 변수 수(50, 100, 500), 평균 그래프 차수(2, 4, 6)를 다양하게 설정한다.
• 정점 순서 기반의 전진 방식으로 무작위 DAG 생성을 수행하고, 계수는 (0.2, 0.9) 범위에서 균일 분포로 추출하며, 오차 분산은 (1, 3) 범위에서 추출한다.
• 각 알고리즘을 해당 플랫폼(JAVA, Matlab, R)에서 동일한 컴퓨터와 동일한 데이터셋을 사용하여 실행하여 공정한 비교를 확보한다.
• 성능 측정 지표로는 인접성 정밀도(AP), 인접성 재현율(AR), 인접성 F1 점수(AHP), 방향성 F1 점수(AHR), 마르코프 블랭킷 인접성(McAdj), 마르코프 블랭킷 화살표 정확도(McArrow), 실행 시간(E)을 사용한다.
• 각 설정에 대해 10번의 독립 실행 평균을 구하고, 상호작용형 시각화를 위한 종합 데이터셋을 구성한다.
• 정적 표를 넘어서 결과를 탐색할 수 있는 웹 기반 상호작용 도구를 활용하여, 사용자가 다양한 파라미터 조합에서 알고리즘 간 성능을 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 Tetrad, BNT, pcalg, bnlearn는 다양한 표본 크기와 그래프 크기에서 인접성 및 방향성 정확도에서 어떻게 비교되는가?
• RQ2 고차원 설정(500개 변수)에서 가장 높은 구조 복원 정확도(F1 점수)를 달성하는 패키지는 무엇인가?
• RQ3 각 패키지의 상대적 실행 시간 성능는 어떠하며, 표본 크기와 그래프 복잡도 증가에 따라 어떻게 변화하는가?
• RQ4 여러 번의 실행에서 결과는 얼마나 일관성이 있는가? 어떤 알고리즘이 가장 안정적인 성능를 보이는가?
• RQ5 '기본' 원인 발견 작업—선형, 가우시안, 잠재변수 없음, 간섭 데이터 없음—에서 어떤 알고리즘이 가장 우수한 성능를 보이는가?

주요 결과

• Tetrad (Java)는 모든 설정에서 평균 인접성 F1 점수(AHP) 0.97과 방향성 F1 점수(AHR) 0.92를 기록하며, 특히 변수 수가 많은 경우(500개 변수)에서 뛰어난 성능를 보였다.
• bnlearn (R)는 500개 변수와 1000개 표본에서 평균 McAdj 0.97과 McArrow 0.87을 기록하며, 고차원 설정에서 대부분의 다른 패키지들을 능가하는 성능를 보였다.
• pcalg (R)는 500개 변수와 1000개 표본에서 인접성 정밀도(AP) 0.99와 재현율(AR) 0.97을 기록했지만, Tetrad(평균 33.51초)에 비해 느린 실행 시간(평균 39.69초)을 보였다.
• BNT (Matlab)는 다른 패키지들보다 뚜렷하게 느리며, 500개 변수와 1000개 표본에서 평균 실행 시간 71.41초를 기록했고, 일부 설정에서 낮은 정확도(AP: 0.86, AR: 0.99)를 보였다.
• Tetrad는 방향성 정확도(AHR)와 McArrow에서 일관되게 다른 패키지들을 앞서며, 500개 변수와 1000개 표본에서 각각 0.89를 기록하여 화살표 방향 복원 능력이 뛰어나다는 것을 시사한다.
• 상호작용형 시각화 도구는 Tetrad와 bnlearn가 모든 파라미터 조합에서 고정된 정확도를 유지하는 반면, BNT와 pcalg는 특히 고차원, 저표본 환경에서 변동성이 더 크다는 것을 드러냈다.