[논문 리뷰] Learning directed acyclic graphs via bootstrap aggregating

Ru Wang, Jie Peng|arXiv (Cornell University)|2014. 06. 09.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 부트스트랩 앙상블 기반의 DAGBag을 제안하며, 부트스트랩 리샘플링에서 학습된 여러 DAG를 통합함으로써 고차원 설정에서의 거짓 양성률을 감소시키는 방법이다. 앙상블에 포함된 모든 DAG들에 대한 구조적 해밍 거리의 최소화를 통해, 안정적이고 변동성이 낮은 구조 학습을 달성하면서도 높은 검정력을 유지하며, 효율적인 오르막 탐색 구현을 통해 고차원 데이터로의 확장성도 확보한다.

ABSTRACT

Probabilistic graphical models are graphical representations of probability distributions. Graphical models have applications in many fields including biology, social sciences, linguistic, neuroscience. In this paper, we propose directed acyclic graphs (DAGs) learning via bootstrap aggregating. The proposed procedure is named as DAGBag. Specifically, an ensemble of DAGs is first learned based on bootstrap resamples of the data and then an aggregated DAG is derived by minimizing the overall distance to the entire ensemble. A family of metrics based on the structural hamming distance is defined for the space of DAGs (of a given node set) and is used for aggregation. Under the high-dimensional-low-sample size setting, the graph learned on one data set often has excessive number of false positive edges due to over-fitting of the noise. Aggregation overcomes over-fitting through variance reduction and thus greatly reduces false positives. We also develop an efficient implementation of the hill climbing search algorithm of DAG learning which makes the proposed method computationally competitive for the high-dimensional regime. The DAGBag procedure is implemented in the R package dagbag.

연구 동기 및 목표

• 고차원, 표본 수가 적은 조건에서 DAG 구조 학습의 높은 변동성과 과적합 문제를 해결하기 위해.
• 작은 표본에서의 노이즈로 인한 거짓 양성 간선 탐지 문제를 부트스트랩 앙상블에 의한 분산 감소를 통해 줄이기 위해.
• 고차원 설정에서의 확장 가능한 DAG 학습을 위한 효율적인 오르막 탐색 알고리즘을 개발하기 위해.
• 효율적인 통합을 위한 DAG 공간 상의 거리 측도 가족을 구조적 해밍 거리 기반으로 제안하기 위해.
• 일반적인 목적의 프레임워크를 구현하고 평가하여, 어떤 DAG 학습 알고리즘과도 통합 가능한 안정적인 DAG 구조 학습 방법을 제공하기 위해.

제안 방법

• 부트스트랩 리샘플링을 사용하여 여러 데이터 부분집합을 생성하고, 각 부분집합에 대해 오르막 탐색 알고리즘을 통해 별도의 DAG를 학습한다.
• 앙상블 내의 DAG 간 이질성을 측정하기 위해 구조적 해밍 거리 기반의 거리 측도 가족을 정의한다.
• 최종 통합 DAG는 앙상블 내 모든 DAG들에 대한 총 거리의 최소화를 통해 유도되며, 리샘플링 간의 안정성을 증진시킨다.
• 이전 탐색 정보를 재사용하여 점수 계산과 사이클성 검사를 가속화하는 최적화된 오르막 탐색 알고리즘을 구현한다.
• R 패키지 'dagbag'에 구현되어 있으며, 어떤 DAG 학습 절차와도 통합 가능하다.
• BIC, BGe, GIC 등의 다양한 점수 기준에 대해 통합을 적용하여, 강인성과 향상된 성능을 입증한다.

실험 결과

연구 질문

• RQ1 부트스트랩 앙상블은 고차원 DAG 구조 학습에서 거짓 양성 간선 탐지 문제를 상당히 감소시킬 수 있는가?
• RQ2 제안된 DAGBag 프레임워크는 단일 모델 접근 방식에 비해 DAG 학습의 안정성과 정확도를 어떻게 향상시키는가?
• RQ3 BIC, BGe, GIC 등의 다양한 점수 기준을 DAGBag과 조합했을 때 거짓 양성률 통제 및 검정력 측면에서 어떤 영향을 미치는가?
• RQ4 대규모 DAG 학습(예: p=1000개의 노드)에 대해 제안된 오르막 탐색 구현은 얼마나 효율적인가?
• RQ5 비정규 분포 가정 위반(예: 자유도 df=3,5인 t분포, 감마 분포)에 대해 DAGBag 방법은 얼마나 강인한가?

주요 결과

• DAGBag은 특히 고차원 설정에서 거짓 양성 간선을 상당히 감소시키며, 간선 탐지의 높은 검정력을 유지한다.
• 비통합 절차에 비해 DAGBag은 거짓 양성률을 더 효과적으로 줄이며, BIC 점수와 함께 사용했을 때 강력한 성능과 계산 효율성을 보였다.
• 최적화된 오르막 탐색 알고리즘은 n=250개 표본, 1000개 노드의 DAG에서 약 150초 내에 약 2000개의 탐색 단계를 달성한다.
• BGe 점수에서 iss=10을 사용할 경우 과도한 거짓 양성률이 발생하지만, 이는 통합을 통해 완화된다. 반면 BGe에서 iss=3를 사용할 경우 비통합 상태에서 더 나은 성능을 보였다.
• 비정규 오차 분포(예: 자유도 df=3,5인 t분포, 감마 분포)에 대해서도 강인하여, 분포 가정 위반 상황에서도 신뢰할 수 있는 성능을 보였다.
• DAGBag을 통한 통합은 BIC, like, GIC 점수 모두에서 유사한 성능을 보였지만, 비통합 버전에 비해 상당히 낮은 거짓 양성률을 기록했다.