[논문 리뷰] Bayesian Structure Learning by Recursive Bootstrap

Raanan Y. Rohekar, Yaniv Gurwicz외 3명|arXiv (Cornell University)|2018. 01. 01.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 다중 수준의 조건부 인덱스 독립성에 걸쳐 비모수 부트스트래핑을 활용하여 고차원 도메인에서 독립성 테스트 오류에 대한 강건성을 향상시키는 재귀적 부트스트랩 기반 베이지안 구조 학습 방법을 제안한다. 이 방법은 점수 기반 CPDAG의 트리 구조를 구성하며, 더 깊은 수준에서는 더 많은 부트스트랩 샘플을 사용하여 고차원 의존성을 안정화시켜 수백 개의 변수에 대해 우수한 모델 선택 및 평균화 성능을 보이며 기존 최고 수준의 방법들보다 뛰어난 확장성과 정확도를 제공한다.

ABSTRACT

We address the problem of Bayesian structure learning for domains with hundreds of variables by employing non-parametric bootstrap, recursively. We propose a method that covers both model averaging and model selection in the same framework. The proposed method deals with the main weakness of constraint-based learning---sensitivity to errors in the independence tests---by a novel way of combining bootstrap with constraint-based learning. Essentially, we provide an algorithm for learning a tree, in which each node represents a scored CPDAG for a subset of variables and the level of the node corresponds to the maximal order of conditional independencies that are encoded in the graph. As higher order independencies are tested in deeper recursive calls, they benefit from more bootstrap samples, and therefore are more resistant to the curse-of-dimensionality. Moreover, the re-use of stable low order independencies allows greater computational efficiency. We also provide an algorithm for sampling CPDAGs efficiently from their posterior given the learned tree. That is, not from the full posterior, but from a reduced space of CPDAGs encoded in the learned tree. We empirically demonstrate that the proposed algorithm scales well to hundreds of variables, and learns better MAP models and more reliable causal relationships between variables, than other state-of-the-art-methods.

연구 동기 및 목표

• 고차원 도메인에서 제약 기반 베이지안 구조 학습이 독립성 테스트 오류에 민감한 문제를 해결하기 위해.
• 재귀적 부트스트랩 샘플링을 사용하여 수백 개의 변수를 포함한 도메인에서 확장 가능한 구조 학습을 가능하게 하기 위해.
• CPDAG의 트리 구조적 표현을 통해 모델 평균화와 모델 선택을 하나의 프레임워크 안에서 통합하기 위해.
• 고차원 의존성에 더 많은 부트스트랩 샘플을 할당하여 차원의 극복 문제에 대한 강건성을 향상시키기 위해.
• 학습된 트리의 구조에 기반한 구조 인식된 CPDAG 공간으로의 효율적 사후 샘플링을 통해 계산 효율성을 향상시키기 위해.

제안 방법

• 이 방법은 각 노드가 변수의 부분집합에 대한 점수 기반 CPDAG을 나타내는 트리를 구성하며, 노드의 깊이가 포함된 최대 차수의 조건부 독립성에 해당한다.
• 더 깊은 수준에서의 재귀 호출은 고차원 조건부 독립성을 테스트하며, 차원 문제를 완화하기 위해 증가된 부트스트랩 샘플 크기를 활용한다.
• 안정적인 저차원 조건부 독립성은 수준 간에 재사용되어 계산 효율성을 높이고 중복을 줄인다.
• 제약 기반 학습과 재표본 추출을 융합하는 새로운 부트스트랩 통합 전략을 도입하여 독립성 테스트 오류에 대한 민감도를 감소시킨다.
• 학습된 트리의 구조에 포함된 CPDAG에 제한된 사후 분포에서 CPDAG를 추출하는 효율적 샘플링 알고리즘을 제안한다.
• 이 방법은 베이지안 프레임워크 내에서 작동하며, 전체 공간의 타당한 부분집합에 집중하여 CPDAG의 사후 확률 기반 점수와 순위를 매긴다.

실험 결과

연구 질문

• RQ1 어떻게 부트스트랩 재표본 추출을 재귀적으로 적용하여 고차원 도메인에서 제약 기반 구조 학습의 안정성을 향상시킬 수 있는가?
• RQ2 재귀적 부트스트랩 샘플링은 기존의 제약 기반 방법에 비해 학습된 CPDAG의 정확도를 어느 정도 향상시키는가?
• RQ3 CPDAG의 트리 구조적 표현은 수백 개의 변수에 대해 확장 가능하고 효율적인 베이지안 구조 학습을 가능하게 하는가?
• RQ4 최고 수준의 기존 방법들과 비교했을 때, 이 방법은 MAP 모델 선택 및 원인 관계 복원 측면에서 성능이 어떻게 다른가?
• RQ5 고차원 조건부 독립성에 더 많은 부트스트랩 샘플을 할당할 경우 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 수백 개의 변수를 포함하는 도메인에 효과적으로 스케일업되며, 계산 효율성과 확장성 측면에서 기존의 방법들을 능가한다.
• 최고 수준의 방법들보다 더 나은 최대 사후 확률(MAP) 모델을 학습하며, 이를 통해 향상된 구조 정확도로 증명된다.
• 재귀적 부트스트랩 샘플링 통합으로 인해 독립성 테스트 오류에 민감도가 감소하여 더 신뢰할 수 있는 원인 관계를 도출할 수 있다.
• 더 깊은 트리 수준에서 고차원 조건부 독립성은 증가된 부트스트랩 샘플 크기 덕분에 안정성이 향상되고 차원의 극복 문제의 영향도 감소한다.
• 트리에 인코딩된 구조 인식된 CPDAG 공간에서의 효율적 사후 샘플링은 모델 품질을 희생시키지 않고도 더 빠른 추론을 가능하게 한다.
• 안정적인 저차원 독립성의 수준 간 재사용은 계산 효율성 향상과 모델 일관성 향상에 기여한다.