[論文レビュー] Algebraic Geometry of Bayesian Networks

Luis David García Puente, Michael Stillman+1 more|ArXiv.org|Jan 22, 2003

Polynomial and algebraic computation参考文献 8被引用数 9

ひとこと要約

本稿は、条件付き独立性を多項式イデアルとしてモデル化することで、ベイジアンネットワークの代数幾何学的枠組みを確立する。Gröbner基底と一次分解を用いて、最大5変数のネットワークを分類する。隠れ変数はセグレ埋め込みの高次セカント多様体に対応し、ナイーブベイズモデルの定義イデアルの明示的生成元を提供する。特に、小規模な2値および3値ネットワークの完全分類がなされる。

ABSTRACT

We study the algebraic varieties defined by the conditional independence statements of Bayesian Networks. A complete algebraic classification is given for Bayesian Networks on at most five random variables. Hidden variables are related to the geometry of higher secant varieties.

研究の動機と目的

• 条件付き独立性に関する記述を多項式イデアルとして抽出し、ベイジアンネットワークの代数幾何学的枠組みを構築すること。
• 関連する多項式イデアルの一次分解を用いて、最大5個の離散的確率変数を持つすべてのベイジアンネットワークを分類すること。
• セグレ多様体の高次セカント多様体の幾何学的性質を通じて、ベイジアンネットワークにおける隠れ変数の役割を理解すること。
• 特に低次元および低ランクテンソル分解に対して、ナイーブベイズモデルの定義イデアルの明示的生成元を提供すること。
• [23]の問題8.11および8.12を含む代数統計における未解決問題を、再帰的因数分解写像の核を分析することで解決すること。

提案手法

• 条件付き独立性の記述を、確率単体上の多項式環における斉次な二次イデアルとして表現する。
• Gröbner基底と一次分解を用いて、ベイジアンネットワーク $ G $ に関連する $ I_{\text{local}(G)} $ および $ I_{\text{global}(G)} $ の代数的構造を分析する。
• ベイジアンネットワークの再帰的因数分解を環準同型としてモデル化し、その核を素イデアルとして特定する。これは、グローバルイデアルの削減された一次成分である。
• 隠れ変数モデルをセグレ多様体の高次セカント多様体に関連づけ、ナイーブベイズモデルは射影空間の積の第二セカント多様体に対応することを示す。
• Macaulay2およびSingularを用いて、巨大なイデアル（最大32変数、多数の二次式を含む301個のイデアル）の一次分解を計算する。
• テンソルのフラットニングと行列式関係を用いて、セカント多様体の素イデアルの明示的生成元を導出する。特に、三次、四次、および9次多項式（特定のケースに限る）を含む。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークにおける条件付き独立性の記述を、多項式イデアルを通じて代数的多様体として体系的に表現する方法は何か？
• RQ2 ベイジアンネットワークにおけるローカルおよびグローバルマークフ・性質を定義するイデアルの正確な代数的構造は何か？また、再帰的因数分解とはどのように関係するか？
• RQ3 複素数体上では再帰的因数分解とグローバルマークフ・性質の同値性が成立しないのはなぜか？一次分解を用いてこの問題をどのように診断できるか？
• RQ4 r 個のクラスを持つナイーブベイズモデルの定義イデアルは何か？その生成元は特徴量の数と次元にどのように依存するか？
• RQ5 セグレ多様体のr番目のセカント多様体の次元が期待値を下回るのはいつか？その幾何学的および代数的要因は何か？

主な発見

• 本稿は、4つの任意の離散的確率変数を持つすべてのベイジアンネットワーク、および5つの2値確率変数を持つすべてのベイジアンネットワークについて、一次分解を用いて完全な代数的分類を提供する。
• r=2 のナイーブベイズモデルでは、n方向配列のすべての2次元フラットニングにおける3×3小行列式によって定義イデアルが生成され、Conjecture 21 を確認する。
• r=3 かつ n=3 で特徴量が3値の場合、イデアルは形式 $ A \cdot \text{adj}(B) \cdot C - C \cdot \text{adj}(B) \cdot A $ の四次多項式によって生成され、ここで $ A, B, C $ は3×3×3テンソルのスライスである。
• r=4 の場合、イデアルは主イデアルであり、9次多項式 $ \det(B)^2 \cdot \det(A B^{-1} C - C B^{-1} A) $ によって生成され、これはストラーセンの定理から導かれる。
• r ≥ 5 の場合、セカント多様体のイデアルはゼロとなり、これは多様体が環境空間を埋め尽くしていることを示しており、一般に3×3×3テンソルのランクは4以下であるという事実と整合する。
• n=4、d_i=2、r=3 の場合、X = \mathbb{P}^1 \times \cdots \times \mathbb{P}^1 に対して、セカント多様体 $ \text{Sec}^r(X) $ の次元は13であり、期待値の14より小さい。これは次元低下の有名な例である。