[논문 리뷰] High-dimensional consistency in score-based and hybrid structure learning

Preetam Nandy, Alain Hauser외 1명|arXiv (Cornell University)|2015. 07. 09.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 점수 기반 및 하이브리드 베이지안 네트워크 구조 학습 방법, 특히 게리 에퀴벌런스 서치(GES) 및 그 적응형 변형인 ARGES에 대해 데이터 의존적 검색 공간 제약을 도입하여 고차원 일致성을 확립한다. 희박한 고차원 설정에서 일치성을 증명하고, 수천 개의 변수로 확장 가능한 시뮬레이션을 통해 GES와 ARGES가 PC 알고리즘보다 추정 품질에서 뛰어남을 보여준다.

ABSTRACT

Main approaches for learning Bayesian networks can be classified as constraint-based, score-based or hybrid methods. Although high-dimensional consistency results are available for constraint-based methods like the PC algorithm, such results have not been proved for score-based or hybrid methods, and most of the hybrid methods have not even shown to be consistent in the classical setting where the number of variables remains fixed and the sample size tends to infinity. In this paper, we show that consistency of hybrid methods based on greedy equivalence search (GES) can be achieved in the classical setting with adaptive restrictions on the search space that depend on the current state of the algorithm. Moreover, we prove consistency of GES and adaptively restricted GES (ARGES) in several sparse high-dimensional settings. ARGES scales well to sparse graphs with thousands of variables and our simulation study indicates that both GES and ARGES generally outperform the PC algorithm.

연구 동기 및 목표

• 점수 기반 및 하이브리드 구조 학습 방법(예: GES 및 하이브리드 변종)에 대한 고차원 일치성 결과의 부족을 해결하기 위해.
• 변수 수가 표본 크기와 함께 증가하는 희박한 고차원 설정에서 GES 및 그 적응형 변종 ARGES의 이론적 일치성을 확립하기 위해.
• 적응형 검색 공간 제약을 도입하여 점수 기반 방법의 고차원 데이터에서의 확장성 및 추정 성능을 향상시키기 위해.
• 제약 기반(예: PC)과 점수 기반(예: GES) 방법 간의 이론적 격차를 메우기 위해, 다변량 정규 분포 설정에서 이 둘 간의 개념적 및 알고리즘적 연결을 보여주기 위해.
• 안정성 선택 또는 확장된 BIC를 사용하여 (AR)GES의 페널티 파라미터 선택에 실용적인 지침을 제공함으로써, 희박한 고차원 모델에서의 성능을 향상시키기 위해.

제안 방법

• 조건부 인지성 테스트를 사용하여 알고리즘의 현재 상태에 기반해 검색 공간을 제약하는 적응형 제약 GES(ARGS)를 도입한다.
• 진짜 DAG가 모든 그리고 오직 조건부 인지성 관계를 코딩하는 DAG-완전 가정 하에 고전적 설정(고정된 p, n → ∞)에서 GES 및 ARGES의 일치성을 증명한다.
• 성장 조건 (A5)을 제약하는 오라클 버전 알고리즘의 성장 조건을 제어하는 조건 (A5) 하에서 ARGES의 고차원 일치성을 확립하며, Chow-Liu 알고리즘과의 연결을 통해 충분 조건을 도출한다.
• 다변량 정규 분포 설정에서 GES와 PC는 밀접하게 관련되어 있음을 보여준다: GES는 부분 상관계수 임계값을 사용해 간선을 추가하거나 삭제하며, 이는 조건부 인지성 테스트와 유사하다.
• 비정규 분포에 대해 랭크 상관계수를 기반으로 한 새로운 점수 기준을 제안하여, 정규 분포를 초월한 점수 기반 학습을 가능하게 한다.
• ARGES의 전진 단계와 선택적 GES(SGES)의 후진 단계를 조합하여, SGES의 다항 시간 복잡도와 약한 조건 하에서의 일치성을 활용한다.

실험 결과

연구 질문

• RQ1 변수 수가 표본 크기와 함께 증가할 때, GES 및 하이브리드 방법은 고차원 일치성을 달성할 수 있는가?
• RQ2 어떤 적응형 검색 공간 제약이 희박한 고차원 설정에서 일관된 구조 학습을 가능하게 하는가?
• RQ3 점수 기반 방법(GES)과 제약 기반 방법(PC)은 추정 정확도 및 확장성 측면에서 어떻게 비교되는가?
• RQ4 다변량 정규 분포 설정에서 GES와 제약 기반 알고리즘(PC) 간의 이론적 연결은 무엇인가?
• RQ5 ARGES의 일치성은 더 약한 분포 가정 하에 최소 독립성 맵 학습으로 확장될 수 있는가?

주요 결과

• 오라클 버전 알고리즘이 성장 조건 (A5)를 만족할 경우, ARGES는 희박한 고차원 설정에서 고차원 일치성을 달성한다. 이 조건은 강력한 구조적 가정 하에서 성립함이 입증되었다.
• GES는 진짜 DAG가 모든 조건부 인지성 관계를 코딩하는 DAG-완전 가정 하에 고전적 설정(고정된 p, n → ∞)에서 일치성을 보이며, 조건부 독립성 관계를 코딩하는 진짜 DAG의 존재 외에는 분포 제약 없이도 성립한다.
• 시뮬레이션 결과에 따르면, PC 알고리즘이 고차원 응용 분야에서 널리 사용되며 확장성은 뛰어나지만, GES와 ARGES는 추정 정확도에서 모두 PC를 능가한다.
• ARGES의 전진 단계는 대표적인 표본 크기의 한계에서 진짜 CPDAG의 독립성 맵을 생성하며, 이는 SGES와 같이 일관된 후진 단계와 조합될 경우 일관성을 보장한다.
• GES와 Chow-Liu 알고리즘 간의 새로운 연결 고리를 확립하여, 고차원 설정에서 GES의 행동에 대한 이론적 통찰을 제공한다.
• 이 논문은 (AR)GES의 페널티 파라미터 선택에 안정성 선택 또는 확장된 BIC 기준을 사용할 것을 권장하며, 이는 희박한 고차원 모델에서 표준 BIC보다 성능이 뛰어나다.