[論文レビュー] Reasoning about Bayesian Network Classifiers

Hei Chan, Adnan Darwiche|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 8被引用数 33

ひとこと要約

この論文では、ナイーブベイズ分類器を順序付き意思決定図（ODD）に変換する手法を紹介し、その性質について効率的な推論を可能にする。このアプローチにより、分類器の同値性、乖離の特徴付け、CPT感度の解析が容易になり、理論的および実験的検証を通じて、大規模なインスタンスに対してもcompactなODD表現が得られることを示している。

ABSTRACT

Bayesian network classifiers are used in many fields, and one common class of classifiers are naive Bayes classifiers. In this paper, we introduce an approach for reasoning about Bayesian network classifiers in which we explicitly convert them into Ordered Decision Diagrams (ODDs), which are then used to reason about the properties of these classifiers. Specifically, we present an algorithm for converting any naive Bayes classifier into an ODD, and we show theoretically and experimentally that this algorithm can give us an ODD that is tractable in size even given an intractable number of instances. Since ODDs are tractable representations of classifiers, our algorithm allows us to efficiently test the equivalence of two naive Bayes classifiers and characterize discrepancies between them. We also show a number of additional results including a count of distinct classifiers that can be induced by changing some CPT in a naive Bayes classifier, and the range of allowable changes to a CPT which keeps the current classifier unchanged.

研究の動機と目的

• ベイジアンネットワーク分類器の構造的および確率的性質について、効率的な推論を可能にすること。
• 直接計算が非現実的となる大規模なナイーブベイズ分類器の分析という課題に対処すること。
• ODDを用いて、分類器の比較と感度分析のための扱いやすい表現を提供すること。
• 条件付き確率表（CPT）を変更することで得られる異なる分類器の数を特徴付けすること。
• 分類器の出力を変更しないCPT変更の範囲を特定すること。

提案手法

• 任意のナイーブベイズ分類器を順序付き意思決定図（ODD）に変換するアルゴリズムを提案する。
• ODD表現を用いることで、そうでなければ非効率的となる分類器の多項式時間推論を可能にする。
• CPTの記号的変換を用いて、パrameterの摂動下での分類器の挙動を分析する。
• ODDベースの手法を用いて、2つのナイーブベイズ分類器間の同値性を効率的にテストする。
• ODD構造を活用して、CPTの変更によって誘発される異なる分類器の数を計算する。
• ODDベースの感度解析を用いて、分類器の出力を維持するCPT変更の範囲を導出する。

実験結果

リサーチクエスチョン

• RQ1 compactな記号的表現を用いて、ナイーブベイズ分類器の同値性を効率的に分析できるか？
• RQ2 ナイーブベイズモデルの1つのCPTを変更することで、何種類の異なる分類器を生成できるか？
• RQ3 分類器の出力を変更しないCPTパrameterの変更範囲は何か？
• RQ4 2つのナイーブベイズ分類器間の乖離を体系的に特徴付けられるか？
• RQ5 ODDは、大規模または複雑なナイーブベイズ分類器について推論を行うための扱いやすい表現を提供できるか？

主な発見

• 提案されたODD変換アルゴリズムは、インスタンス数が非効率的となる場合でも、compactな表現を生成する。
• ODDベースの記号的計算を用いることで、2つのナイーブベイズ分類器間の同値性テストを効率的に行える。
• 1つのCPTを変更することで誘発される異なる分類器の数は、ODD解析により境界が定まり、計算可能である。
• 分類器の出力を変更しないCPTパrameter変更の範囲を特定でき、ロバストネス解析が可能になる。
• ODDベースの比較を用いることで、2つの分類器間の乖離を体系的に特徴付けられる。
• 理論的および実験的結果により、ODDがベイジアンネットワーク分類器について推論を行うための扱いやすくスケーラブルなフレームワークを提供することが確認された。