[論文レビュー] Bounds on the number of inference functions of a graphical model

Sergi Elizalde, Kevin M. Woods|ArXiv.org|Oct 6, 2006

Bayesian Modeling and Causal Inference参考文献 16被引用数 8

ひとこと要約

本稿では、グラフィカルモデルにおける推論関数の数に多項式上界を確立している。観測値から説明への可能な写像の数が膨大であるにもかかわらず、一貫したパラメータ選択によって実現可能な関数の数は多項式的であることを示している。主な結果として、固定されたパラメータ数に対して、モデルの複雑さ M に従い、推論関数の数が O(M^{d(d−1)}) に増加することを示しており、これは定数要因を除いてタイトである。これは、隠れマルコフモデルと逐次アラインメントモデルの具体例を構築することで、漸近的にこの境界に一致することを示している。

ABSTRACT

Directed and undirected graphical models, also called Bayesian networks and Markov random fields, respectively, are important statistical tools in a wide variety of fields, ranging from computational biology to probabilistic artificial intelligence. We give an upper bound on the number of inference functions of any graphical model. This bound is polynomial on the size of the model, for a fixed number of parameters, thus improving the exponential upper bound given by Pachter and Sturmfels. We also show that our bound is tight up to a constant factor, by constructing a family of hidden Markov models whose number of inference functions agrees asymptotically with the upper bound. Finally, we apply this bound to a model for sequence alignment that is used in computational biology.

研究の動機と目的

• 固定されたパラメータ数が与えられた場合に、グラフィカルモデルで得られる異なる推論関数の最大数を特定すること。
• 観測値から説明への写像の数が二重指数的であるのに対し、パラメータ化されたモデルから生じる一貫した推論関数の数が限られているという表面的矛盾を解消すること。
• 固定されたパラメータ数のもとで、推論関数の数が指数的ではなく多項式的であることを証明すること。
• 隠れマルコフモデルと逐次アラインメントモデルの明示的構成を用いて、この多項式的上界が漸近的にタイトであることを示すこと。

提案手法

• アラインメント多角形の正規ファンと多面体を用いた幾何学的・組合せ的技法を用いて、推論関数の数に対する上界を導出する。
• 推論関数を、特定の説明が最適となるパラメータ空間内の領域としてモデル化し、多面体の正規ファンの細胞に対応付ける。
• アラインメントスコア関数に関連するニュートン多面体 NP(fτ) の構造を用いて、異なる推論関数の数を制限する。
• 特定の二値列の族を構築し、アラインメント多角形における異なる傾きの数が Ω(n²) に増加することを示し、これにより Ω(n²) 個の推論関数が存在することを示す。
• 基礎となるグラフィカルモデルの複雑さと正規錐の配置の複雑さを分析することで、d パラメータモデルにおける推論関数の数が O(M^{d(d−1)}) であることを証明する。
• 隠れマルコフモデルと逐次アラインメントモデルの族を構築することで、上界のタイトさを示す。これらのモデルの推論関数の数は、漸近的に上界と一致する。

実験結果

リサーチクエスチョン

• RQ1 固定されたパラメータ数を持つグラフィカルモデルで得られる異なる推論関数の最大数は何か？
• RQ2 観測値から説明への写像の数が二重指数的であるのに対し、なぜ推論関数の数が著しく少ないのか？
• RQ3 推論関数の上界をタイトにできるか。もしそうなら、どのモデルクラスに対して成立するか？
• RQ4 実用的なモデル、例えば隠れマルコフモデルや逐次アラインメントシステムにおいて、推論関数の数はモデルサイズとパラメータ数にどのように依存するか？

主な発見

• パラメータ数 d が固定されたグラフィカルモデルにおける推論関数の数は、モデルの複雑さ M を用いて O(M^{d(d−1)}) に上界づけられ、以前に知られていた指数的上界に比べて顕著な改善である。
• この上界は漸近的にタイトであり、推論関数の数が Θ(M^{d(d−1)}) に増加する隠れマルコフモデルの族を構築することで、それが裏付けられている。
• 2パラメータ（ミスマッチとギャップのペナルティ）を持つ逐次アラインメントモデルでは、入力配列長 n を用いて推論関数の数が Θ(n²) に達し、多項式的スケーリングが確認された。
• Ω(n²) 個の異なる辺の傾きを持つアラインメント多角形の構築により、パラメータ値が生物学的に意味のある範囲（α, β ≥ 0）に制限されても、推論関数の数が Ω(n²) に達することが証明された。
• パラメータが連続的に変化しても、推論関数の数は多項式的のままであり、高次元のパラメータ空間にもかかわらず、関数的多様性が限定的であることが示された。
• これらの結果は、与えられたモデルに対してすべての推論関数を事前に計算可能であることを示しており、観測値に対するクエリの高速解決が可能になる。