[논문 리뷰] Learning Generalized Hypergeometric Distribution (GHD) DAG models.

Gunwoong Park|arXiv (Cornell University)|2018. 05. 08.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 3

한 줄 요약

이 논문은 조건부 노드 분포에 일반화된 초기하분포(GHD)를 사용하는 새로운 식별 가능한 베이지안 네트워크 모델 클래스를 제안한다. 이는 유한한 데이터로부터 트랙터블 알고리즘을 사용해 기저의 DAG 구조를 완전히 복원할 수 있음을 증명하며, 차수에 상한이 있는 고차원 설정에서도 통계적 일致성을 보이며 최신 기술을 능가한다.

ABSTRACT

We introduce a new class of identifiable DAG models, where each node has a conditional distribution given its parents belongs to a family of generalized hypergeometric distributions (GHD). a family of generalized hypergeometric distributions (GHD) includes a lot of discrete distributions such as Binomial, Beta-binomial, Poisson, Poisson type, displaced Poisson, hyper-Poisson, logarithmic, and many more. We prove that if the data drawn from the new class of DAG models, one can fully identify the graph. We further provide a reliable and tractable algorithm that recovers the directed graph from finitely many data. We show through theoretical results and simulations that our algorithm is statistically consistent even in high-dimensional settings ($n >p$) if the degree of the graph is bounded, and performs well compared to state-of-the-art DAG-learning algorithms.

연구 동기 및 목표

• 일반화된 초기하분포(GHD)를 사용하여 이산 데이터용 새로운 식별 가능한 DAG 모델 클래스를 개발하는 것.
• 유한한 표본으로부터 DAG 구조가 완전히 복원 가능한 이론적 조건을 설정하는 것.
• 데이터로부터 방향 그래프를 학습하기 위한 계산적으로 효율적이고 통계적으로 일관된 알고리즘을 설계하는 것.
• 표본 수가 변수 수를 초과하는 고차원 설정(n > p)에서의 성능을 평가하는 것.
• 제안된 방법이 최신 기술의 DAG 학습 알고리즘과 정확도 및 확장성 측면에서 어떻게 비교되는지 평가하는 것.

제안 방법

• 논문은 일반화된 초기하분포(GHD)를 사용하여 새로운 조건부 분포 가족을 정의하며, 이는 일반적인 이산 분포인 이항분포, 포isson분포, 베타이항분포 등을 포함한다.
• 약한 정칙 조건 하에서, GHD-DAG 모델에서 추출된 i.i.d. 데이터로부터 DAG 구조가 식별 가능하다는 것을 증명한다.
• GHD의 지수족 구조를 활용하여 DAG 공간에서의 효율적 최적화를 가능하게 하는 점수 기반 학습 알고리즘을 제안한다.
• 알고리즘은 GHD 지수족에 맞춤형으로 설계된 페널티가 부여된 최대우도 점수를 사용하는 그레디 서치 전략을 채택하여 타당성을 확보한다.
• 유한 차수 가정 하에 농도 불등식을 활용하여, n > p 인 경우에도 통계적 일관성을 수립한다.
• 모의 실험을 통해 다양한 이산 분포와 고차원 영역에서의 방법 성능을 검증한다.

실험 결과

연구 질문

• RQ1 일반화된 초기하분포(GHD)를 기반으로 한 새로운 DAG 모델 클래스가 유한한 데이터로부터 완전한 구조 식별을 보장할 수 있는가?
• RQ2 GHD-DAG 모델에서 생성된 데이터로부터 DAG 구조를 학습하기 위한 타당하고 통계적으로 일관된 알고리즘이 존재하는가?
• RQ3 표본 수가 변수 수를 초과하는 고차원 설정(n > p)에서 제안된 방법의 성능은 어떠한가?
• RQ4 기존 최신 기술의 DAG 학습 알고리즘보다 이 방법이 이산 데이터에서 성능 면에서 뛰어나게 되는가?
• RQ5 제한된 그래프 차수는 제안된 프레임워크에서 구조 학습의 일관성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 GHD-DAG 모델은 약한 정칙 조건 하에서 유한한 i.i.d. 표본으로부터 기저의 DAG 구조를 완전히 식별 가능하다.
• 최대 노드 차수가 유한한 조건 하에서, 표본 수가 변수 수를 초과하는 고차원 설정(n > p)에서도 알고리즘이 통계적으로 일관성을 확보한다.
• 이 방법은 이항분포, 포isson분포, 로그분포 가족을 포함한 다양한 이산 분포에서 강력한 경험적 성능을 보인다.
• 합성 및 실제 이산 데이터에서의 구조 정확도와 강인성 측면에서 최신 기술의 DAG 학습 방법을 능가한다.
• 이론적 분석을 통해 GHD 기반 점수 함수가 그레디 최적화를 통한 효율적이고 일관된 구조 학습을 가능하게 한다.
• 유한 차수 가정과 지수족 성질 덕분에 변수 수가 표본 수를 초과하는 경우에도 높은 정확도를 유지한다.