[논문 리뷰] Scaling up Greedy Causal Search for Continuous Variables

Joseph Ramsey|arXiv (Cornell University)|2015. 07. 28.

Bayesian Modeling and Causal Inference인용 수 14

한 줄 요약

이 논문은 연속 변수를 위한 그레디 등가 검색(Greedy Equivalence Search, GES) 알고리즘의 최적화된 구현을 제시하여 고차원 데이터에서 확장 가능한 인과적 발견을 가능하게 한다. 계산 최적화를 활용함으로써, 랩톱에서 50,000개 변수를 13분 내에, 슈퍼컴퓨터에서 1,000,000개 변수를 18시간 내에 처리할 수 있으며, 정확도를 유지하면서도 GES의 적용 가능 범위를 대규모 데이터 문제로 크게 확장한다.

ABSTRACT

As standardly implemented in R or the Tetrad program, causal search algorithms used most widely or effectively by scientists have severe dimensionality constraints that make them inappropriate for big data problems without sacrificing accuracy. However, implementation improvements are possible. We explore optimizations for the Greedy Equivalence Search that allow search on 50,000-variable problems in 13 minutes for sparse models with 1000 samples on a four-processor, 16G laptop computer. We finish a problem with 1000 samples on 1,000,000 variables in 18 hours for sparse models on a supercomputer node at the Pittsburgh Supercomputing Center with 40 processors and 384 G RAM. The same algorithm can be applied to discrete data, with a slower discrete score, though the discrete implementation currently does not scale as well in our experiments; we have managed to scale up to about 10,000 variables in sparse models with 1000 samples.

연구 동기 및 목표

• 대규모 데이터에 대해 표준 R 및 Tetrad 구현에서의 심각한 차원 제약를 극복하기 위해.
• 효율적인 계산 최적화를 사용하여 연속 변수에서 확장 가능한 인과적 발견을 가능하게 하기 위해.
• GES가 정확도를 잃지 않고 고차원 문제(최대 100만 변수)까지 스케일링될 수 있음을 입증하기 위해.
• 희박 모델과 실제 세계의 데이터 크기에서 최적화된 GES의 성능을 평가하기 위해.
• 최적화된 접근 방식을 이산 데이터로 확장할 수 있는지 탐색하기 위해(다만 스케일링 능력은 감소함)

제안 방법

• 효율적인 점수 계산 및 데이터 구조를 사용하여 연속 변수를 위한 그레디 등가 검색(GES) 알고리즘 최적화.
• 시간 복잡도를 감소시키기 위해 병렬 처리 및 메모리 효율적인 데이터 처리를 구현하여 대규모 문제에서의 성능 향상.
• 연속 변수에 대해 가우시안 우도 점수를 사용하고, 점수 평가를 빠르게 하기 위해 최적화된 수치 계산을 적용.
• 인과적 구조 학습 중 중복된 점수 평가를 방지하기 위해 점진적 탐색 전략을 적용.
• 40코어 노드에 384GB RAM이 탑재된 고성능 컴퓨팅 자원을 활용하여 100만 변수 문제까지 스케일링.
• 계산 부담을 줄이면서도 구조적 정확도를 유지하기 위해 희박 모델에 맞게 알고리즘을 적응시킴.

실험 결과

연구 질문

• RQ1 표준 하드웨어에서 50,000개 이상의 변수를 갖는 데이터셋을 처리할 수 있도록 그레디 등가 검색(GES) 알고리즘이 스케일링될 수 있는가?
• RQ2 연속 변수에 대한 GES의 런타임을 줄이는데 가장 효과적인 계산 최적화는 무엇인가?
• RQ3 최적화된 GES의 성능은 대규모 연속 데이터와 이산 데이터에서 어떻게 비교되는가?
• RQ4 정확도를 유지하면서도 고성능 컴퓨팅 시스템에서 100만 개 변수까지 알고리즘이 스케일링될 수 있는가?
• RQ5 대규모 인과적 발견에서 모델의 희박성과 계산 효율성 사이의 상충 관계는 무엇인가?

주요 결과

• 최적화된 GES 알고리즘은 4코어, 16GB 메모리 랩톱에서 1,000개의 표본을 사용해 50,000개 변수 문제를 13분 내에 완료했다.
• 희박 모델을 사용하여 슈퍼컴퓨터 노드(40코어, 384GB RAM)에서 1,000,000개 변수 문제를 18시간 내에 해결했다.
• 알고리즘적 및 구현 최적화를 통해 뚜렷한 성능 향상을 이룩하여 대규모 데이터에서 확장 가능한 인과적 발견이 가능해졌다.
• 이산 버전의 알고리즘은 덜 효과적으로 스케일링되어 약 10,000개 변수, 1,000개 표본까지 도달했다.
• 고차원 데이터로의 스케일링 동안 정확도를 유지하므로 실제 대규모 데이터 응용에 적합하다.
• 최적화 방법은 일반화 가능하며, 유사한 성능 향상을 얻을 수 있는 다른 점수 기반 인과적 발견 알고리즘에 적용 가능하다.