[論文レビュー] Critical Remarks on Single Link Search in Learning Belief Networks

Yang Xiang, S. K. M. Wong+1 more|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 18被引用数 39

ひとこと要約

本論文は、スコアリング指標（エントロピー、MDL、ベイズ、条件付き独立性）にかかわらず、特定の依存構造を持つ確率的モデルのクラスを正しく同定できない、信念ネットワーク学習における単一リンク先行探索の失敗を示している。主な貢献は、真のモデルがこのクラスに属する場合、誤った構造が学習され、推論誤差を引き起こす可能性があることの明示であり、強力な事前知識がない場合には、マルチリンク先行探索または代替ヒューリスティクスの導入を提言する。

ABSTRACT

In learning belief networks, the single link lookahead search is widely adopted to reduce the search space. We show that there exists a class of probabilistic domain models which displays a special pattern of dependency. We analyze the behavior of several learning algorithms using different scoring metrics such as the entropy, conditional independence, minimal description length and Bayesian metrics. We demonstrate that single link lookahead search procedures (employed in these algorithms) cannot learn these models correctly. Thus, when the underlying domain model actually belongs to this class, the use of a single link search procedure will result in learning of an incorrect model. This may lead to inference errors when the model is used. Our analysis suggests that if the prior knowledge about a domain does not rule out the possible existence of these models, a multi-link lookahead search or other heuristics should be used for the learning process.

研究の動機と目的

• 単一リンク先行探索が信念ネットワーク学習において果たす限界を調査すること。
• エントロピー、条件付き独立性、MDL、ベイズスコアリングなどのさまざまなスコアリング指標が、単一リンク探索下でどのように動作するかを分析すること。
• 単一リンク探索が正しい構造を回復できない確率的モデルのクラスを同定すること。
• 誤ったモデル学習が、実際の状況で推論誤差を引き起こす可能性があることを実証すること。
• 事前知識によって問題の依存構造パターンが除外されない場合には、マルチリンク先行探索または代替ヒューリスティクスを推奨すること。

提案手法

• 著者は、単一リンク探索によって検出されない特定の依存構造パターンを持つ確率的ドメインモデルのクラスを分析する。
• 同じモデルクラスに対して、エントロピー、条件付き独立性、最小記述長（MDL）、ベイズスコアリングの複数のスコアリング指標を評価する。
• 分析は、1回に1つのエッジのみを追加または削除する単一リンク先行探索における構造的学習プロセスに焦点を当てる。
• 形式的推論を用いて、このモデルクラスにおいて、いかなる単一リンク探索手順でも真の構造を正しく同定できないことを示す。
• これらの指標を用いた代表的な学習アルゴリズムの動作を、単一リンク制約下で比較する。
• 著者らは、失敗の原因が単一リンク探索の局所的性質に起因し、特定のモデルではグローバルな構造的依存関係を捉えられないことにあると主張する。

実験結果

リサーチクエスチョン

• RQ1 特定の依存構造パターンを持つ信念ネットワークを、単一リンク先行探索が正しく学習できるか？
• RQ2 エントロピー、MDL、ベイズ、条件付き独立性といった異なるスコアリング指標が、このモデルクラスにおいて同等に機能するか？
• RQ3 確率的モデルのどのような構造的性質が、単一リンク探索手順によって検出不能となるか？
• RQ4 どのような条件下で単一リンク探索が誤ったモデル構造に収束するか？
• RQ5 真のモデルが問題のクラスに属する場合、どのような代替探索戦略が必要か？

主な発見

• エントロピー、MDL、ベイズ、条件付き独立性といったスコアリング指標にかかわらず、特定の依存構造を持つ確率的モデルのクラスに対して、単一リンク先行探索は正しい構造を学習できない。
• 失敗の原因は、局所的探索ステップが、モデルクラス固有のグローバルな構造的依存関係を解消できないことにある。
• ベイズやMDLといった最適なスコアリング指標を用いても、単一リンク探索は誤ったネットワーク構造に収束する可能性がある。
• 本研究では、単一リンク探索を用いて学習された場合に推論誤差が生じる可能性があることを実証している。
• 結果から、このような依存構造パターンが存在しうる分野では、単一リンク探索は不十分であると示唆される。
• 著者らは、問題のモデルクラスが事前知識で除外されない場合には、マルチリンク先行探索または代替ヒューリスティクスが不可欠であると結論づける。