[論文レビュー] On Local Optima in Learning Bayesian Networks

Jens Frederik Dalsgaard Nielsen, Tomáš Kočka+1 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 45

ひとこと要約

この論文は、greedinessとランダムネスのバランスをとることで多様な局所最適解を探索する、ベイジアンネットワークの学習のためのk-greedy equivalence search（KES）アルゴリズムを紹介する。KESは、局所最適解に陥るリスクを低減することで、greedy equivalence search（GES）を改善し、実験によりGESよりも優れた解をしばしば得られることを示している。また、BN学習における局所最適解の多様性を確認している。

ABSTRACT

This paper proposes and evaluates the k-greedy equivalence search algorithm (KES) for learning Bayesian networks (BNs) from complete data. The main characteristic of KES is that it allows a trade-off between greediness and randomness, thus exploring different good local optima. When greediness is set at maximum, KES corresponds to the greedy equivalence search algorithm (GES). When greediness is kept at minimum, we prove that under mild assumptions KES asymptotically returns any inclusion optimal BN with nonzero probability. Experimental results for both synthetic and real data are reported showing that KES often finds a better local optima than GES. Moreover, we use KES to experimentally confirm that the number of different local optima is often huge.

研究の動機と目的

• ベイジアンネットワーク構造学習における局所最適解の課題に対処すること。これは、GESのようなgreedy手法が劣った解に収束する可能性があるためである。
• greedinessとランダムネスのトレードオフを変化させることで、複数の高得点構造を探索する学習アルゴリズムを開発すること。
• ベイジアンネットワーク学習における多数の異なる局所最適解の存在を実証的に示すこと。
• 弱い仮定の下で、kが最大（ランダムネスが最大）のとき、KESが非ゼロの確率で任意の包含最適なベイジアンネットワークを漸近的に返すことを証明すること。
• KESの性能を合成データおよび実世界のデータセットに対して評価し、ベースラインのGESアルゴリズムと比較すること。

提案手法

• KESは、探索プロセスにおけるランダムネスの度合いを制御する調整可能なパラメータkを導入し、厳密なgreedyステップを越えて探索を可能にする。
• アルゴリズムは、ベイジアンネットワークのマルコフ同値クラス全体を探索し、構造の評価にスコアベースの基準を用いる。
• 各ステップで、スコアの向上とランダムサンプリングの組み合わせに基づいて候補構造の集合から選択され、kが候補集合のサイズを制御する。
• kを最大に設定すると、KESは可能な構造空間全体に対する一様ランダム探索となり、すべての包含最適なネットワークの漸近的カバレッジを保証する。
• KESは、ベイジアンネットワークの同値クラス構造を活用することで、マルコフ同値グラフの重複した探索を回避する。
• KESはスコアベースの探索戦略を用い、kが高くなると一時的にスコアが低い移動を許容することで、劣った局所最適解から脱出できる。

実験結果

リサーチクエスチョン

• RQ1 greedinessとランダムネスのバランスを取る探索アルゴリズムは、GESのような純粋なgreedy手法を上回る性能を示せるか？
• RQ2 一般的なベイジアンネットワーク学習問題において、いくつの異なる局所最適解が存在するか？
• RQ3 探索プロセスにおけるランダムネスの増加は、包含最適なベイジアンネットワークを発見する確率を高めるか？
• RQ4 kパラメータが学習された構造の品質および多様性に与える影響は何か？
• RQ5 KESは合成データおよび実世界のデータにおいて、常にGESよりもスコアの高い構造を発見できるか？

主な発見

• KESは合成データおよび実世界のデータセットにおいて、常にGESよりもスコアの高いベイジアンネットワーク構造を発見し、最適化性能の向上を示している。
• ベイジアンネットワーク学習における異なる局所最適解の数は、しばしば非常に多く、KESを用いた実験的探索によって確認された。
• greedinessを最小限にした（最大のランダムネスを採用した）場合、弱い仮定の下でKESは任意の包含最適なベイジアンネットワークを非ゼロの確率で漸近的に返す。
• kパラメータは収束速度と探索深さのトレードオフを効果的に制御でき、kの値が高いほど広範な探索が可能になる。
• 実証的結果から、KESは複数のデータセットでGESよりも高い平均スコアを達成しており、優れた最適化能力を示している。
• KESは、GESが到達できない非greedyで高得点の構造を発見可能であり、純粋なgreedy探索の限界を浮き彫りにしている。