[논문 리뷰] Required sample size for learning sparse Bayesian networks with many variables

Paweł Wocjan, Dominik Janzing외 1명|ArXiv.org|2002. 04. 26.

Bayesian Modeling and Causal Inference참고 문헌 6인용 수 8

한 줄 요약

이 논문은 알려진 시간적 순서 하에서, 변수 수 n에 대해 선형 표본 크기로만 증가하는 조건 하에서, 유계 내차수 Δ를 가진 희박한 베이지안 네트워크를 학습할 수 있음을 입증한다. (2Δ+1)-튜플에 대한 실린더 집합의 VC차원을 유계로 둔다는 점을 통해, 작은 변수 집합의 조건부 확률을 추정하는 것이 전체 결합 분포를 효율적으로 학습하는 데에 충분하며, 표본 복잡도가 n에 대해 지수적으로 증가하는 것이 아니라 선형적으로 증가함을 보여준다.

ABSTRACT

Learning joint probability distributions on n random variables requires exponential sample size in the generic case. Here we consider the case that a temporal (or causal) order of the variables is known and that the (unknown) graph of causal dependencies has bounded in-degree Delta. Then the joint measure is uniquely determined by the probabilities of all (2 Delta+1)-tuples. Upper bounds on the sample size required for estimating their probabilities can be given in terms of the VC-dimension of the set of corresponding cylinder sets. The sample size grows less than linearly with n.

연구 동기 및 목표

• 고차원 설정에서 결합 확률 분포를 신뢰성 있게 학습하기 위해 필요한 최소 표본 크기를 규명하는 것.
• 특히 유계 내차수 Δ 및 알려진 시간적 순서와 같은 구조적 제약 조건이 베이지안 네트워크 학습의 표본 복잡도를 어떻게 감소시키는지 조사하는 것.
• 결합 분포 학습의 표본 복잡도 분석을 가능하게 하는 (2Δ+1)-튜플에 대응하는 실린더 집합의 VC차원에 대한 이론적 경계를 설정하는 것.
• 기본 인과 그래프가 희박할 경우 전체 결합 분포 학습이 선형 표본 크기로 가능해지는 조건을 보여주는 것.

제안 방법

• 저자들은 변수의 알려진 시간적 순서를 가정하면서, 유계 내차수 Δ를 가진 베이지안 네트워크를 사용하여 결합 확률 분포를 모델링한다.
• 결합 분포를 (2Δ+1)-튜플에 대한 조건부 확률의 곱으로 표현함으로써 추정해야 할 매개변수의 수를 줄인다.
• 이러한 튜플에 대한 실린더 집합의 VC차원을 부등식 h ≤ k log₂(nd)를 사용하여 유계로 둔다. 여기서 k = 2Δ+1이다.
• 부분집합의 이진 인코딩을 사용하여 VC차원의 하한을 도출함으로써, 상한의 점근적 타당성을 보여준다.
• 진짜 확률에서 상대 빈도의 편차가 ε를 초과할 경우의 위험도 Rε를 농도 불등식을 사용하여 유계로 둔다. 이는 표본 크기의 선형 증가에 따라 위험도가 지수적으로 감소함을 보여준다.
• 이론적 경계를 바탕으로 조건부 독립성 검정을 위한 기준을 제안한다: 관측된 의존성은 추정 불확실성보다 높을 경우에만 실질적인 것으로 간주된다.

실험 결과

연구 질문

• RQ1 인과적 구조가 희박할 경우, n개의 변수에 대한 결합 확률 분포를 학습하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ2 알려진 시간적 순서와 유계 내차수 Δ를 가정할 경우, 베이지안 네트워크 학습의 표본 복잡도는 어떻게 영향을 받는가?
• RQ3 (2Δ+1)-튜플에 대응하는 실린더 집합의 VC차원을 선형 표본 크기 스케일링이 가능하도록 유계로 둘 수 있는가?
• RQ4 추정된 조건부 확률을 사용하여 통계적 독립성 검정을 신뢰성 있게 수행할 수 있는 조건은 무엇인가?

주요 결과

• 실린더 집합의 VC차원은 h ≤ k log₂(nd)로 상한이 유도되며, 여기서 k = 2Δ+1이다. 이는 복잡도를 관리 가능하게 한다.
• VC차원의 하한으로서 ⌊log₂(n−k+1)⌋이 도출되었으며, 이는 k와 d가 상수일 경우 상한이 점근적으로 타당함을 보여준다.
• 상대 빈도 편차가 ε를 초과하는 확률 추정의 위험도 Rε는 n에 대해 선형으로 증가하는 표본 크기를 사용하여 임의의 δ > 0 이하로 줄일 수 있다.
• 표본 크기 l이 n에 대해 선형으로 증가할 경우, 측도 집중 효과로 인해 위험도 Rε는 n에 대해 지수적으로 감소한다.
• 이 방법을 통해 조건부 독립성 검정을 신뢰성 있게 수행할 수 있다: 추정된 확률의 통계적 불확실성보다 큰 의존성은 실질적인 것으로 간주된다.
• 기본 인과 그래프가 유계 내차수 Δ를 가지며 시간적 순서가 알려져 있을 경우, 전체 결합 분포는 선형 표본 크기로 효율적으로 학습될 수 있다.