[논문 리뷰] Algebraic Geometry of Bayesian Networks

Luis David García Puente, Michael Stillman외 1명|ArXiv.org|2003. 01. 22.

Polynomial and algebraic computation참고 문헌 8인용 수 9

한 줄 요약

이 논문은 조건부 인dependence 문장을 다항식 아이디얼로 모델링하여 베이지안 네트워크의 대수기하학적 프레임워크를 수립한다. 그레브너 기저와 근본 분해를 사용하여 최대 5개의 변수를 가진 네트워크를 분류하며, 은닉 변수가 세그레 매bedding의 고차수 단면에 대응함을 보이고, 나이브 베이즈 모델의 정의 아이디얼에 대한 명시적 생성자를 제공한다. 이는 소규모 이진 및 삼진 네트워크에 대한 완전한 분류를 포함한다.

ABSTRACT

We study the algebraic varieties defined by the conditional independence statements of Bayesian Networks. A complete algebraic classification is given for Bayesian Networks on at most five random variables. Hidden variables are related to the geometry of higher secant varieties.

연구 동기 및 목표

• 조건부 인dependence 문장을 유도한 다항식 아이디얼을 사용하여, 대수기하학적 프레임워크를 개발함으로써 베이지안 네트워크를 수립한다.
• 관련된 다항식 아이디얼의 근본 분해를 통해 최대 5개의 이산 랜덤 변수를 가진 모든 베이지안 네트워크를 분류한다.
• 세그레 다양체의 고차수 단면의 기하학을 통해 은닉 변수가 베이지안 네트워크에서 수행하는 역할을 이해한다.
• 특히 소차원 및 저랭크 텐서 분해에 대해, 나의 베이즈 모델의 정의 아이디얼에 대한 명시적 생성자를 제공한다.
• 논문 [23]의 문제 8.11 및 8.12와 같은 열린 문제를, 순환 인수분해 사상의 커널을 분석하여 해결한다.

제안 방법

• 확률 단체 위의 다항식 환에서 동차 이차 아이디얼로 조건부 인dependence 문장을 표현한다.
• 그레브너 기저와 근본 분해를 사용하여, 베이지안 네트워크 $ G $ 와 관련된 아이디얼 $ I_{\text{local}(G)} $ 및 $ I_{\text{global}(G)} $ 의 대수적 구조를 분석한다.
• 베이지안 네트워크의 순환 인수분해를 링 준동형사상으로 모델링하고, 그 커널을 소수 아이디얼로 식별하며, 이는 전역 아이디얼의 축소된 근본 성분이다.
• 은닉 변수 모델을 세그레 다양체의 고차수 단면과 연관지며, 나의 베이즈 모델은 프로젝티브 공간의 곱의 두 번째 단면에 대응함을 보인다.
• Macaulay2 및 Singular을 사용하여 큰 아이디얼(예: 최대 32개의 변수와 많은 이차형식을 가진 301개의 아이디얼)의 근본 분해를 계산한다.
• 텐서 평탄화와 행렬식 관계를 사용하여 단면 다양체의 소수 아이디얼에 대한 명시적 생성자를 유도하며, 특정 경우에 대해 삼차, 사차, 그리고 9차 다항식을 포함한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크의 조건부 인dependence 문장을 다항식 아이디얼을 통해 체계적으로 대수적 다양체로 표현할 수 있는가?
• RQ2 베이지안 네트워크에서 局부 및 전역 마르코프 성질을 정의하는 아이디얼의 정확한 대수적 구조는 무엇이며, 이는 순환 인수분해와 어떻게 관련이 있는가?
• RQ3 복소수 체 위에서 순환 인수분해와 전역 마르코프 성질 간의 동치성이 실패하는 이유는 무엇이며, 근본 분해를 통해 이를 진단할 수 있는가?
• RQ4 r개의 클래스를 가진 나의 베이즈 모델의 정의 아이디얼은 무엇이며, 그 생성자는 특징 수와 그 차원에 따라 어떻게 달라지는가?
• RQ5 세그레 다양체의 r번째 단면 다양체의 차원이 기대치보다 낮아지는 경우는 언제이며, 기하학적 및 대수적 원인은 무엇인가?

주요 결과

• 논문은 최대 4개의 이산 랜덤 변수를 가진 모든 베이지안 네트워크와 최대 5개의 이진 랜덤 변수를 가진 모든 베이지안 네트워크를 근본 분해를 통해 완전한 대수적 분류를 제공한다.
• r=2인 나의 베이즈 모델의 정의 아이디얼은 n-way 표본의 모든 이차 평탄화에서의 3×3-최소행렬로 생성되며, 이는 추측 21을 확인한다.
• r=3이고 n=3이며, 삼진 특징을 가질 경우, 아이디얼은 A, B, C가 3×3×3 텐서의 조각인 형태의 사차 다항식 $ A \cdot \text{adj}(B) \cdot C - C \cdot \text{adj}(B) \cdot A $ 로 생성된다.
• r=4일 경우, 아이디얼은 주 아이디얼이며, 9,216개의 항을 가진 9차 다항식 $ \det(B)^2 \cdot \det(A B^{-1} C - C B^{-1} A) $ 로 생성되며, 스트라센의 정리에서 유도된다.
• r ≥ 5일 경우, 단면 다양체의 아이디얼은 0이며, 이는 다양체가 배경 공간을 메운다는 것을 의미한다. 이는 일반적인 3×3×3 텐서의 랭크가 최대 4임을 고려할 때 일관된 결과이다.
• n=4, d_i=2, r=3인 경우 $ X = \mathbb{P}^1 \times \cdots \times \mathbb{P}^1 $ 에 대해 $ \text{Sec}^r(X) $ 의 차원은 13이며, 예상치인 14보다 낮다. 이는 차원 감소의 잘 알려진 사례이다.