[論文レビュー] Theory Refinement on Bayesian Networks

Wray Buntine|arXiv (Cornell University)|Mar 20, 2013

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿では、不確実性下でのドメイン理論の自動的かつエキスパート支援付き更新を可能にするベイジアンネットワーク向けの段階的理論精錬フレームワークを提案する。代替理論の内部表現を維持し、データを用いて段階的に精錬することで、バッチ学習アルゴリズムを拡張し、バッチ学習とオンライン学習の両方をサポートする。動的環境における信念の再評価に耐性のあるメカニズムを提供する。

ABSTRACT

Theory refinement is the task of updating a domain theory in the light of new cases, to be done automatically or with some expert assistance. The problem of theory refinement under uncertainty is reviewed here in the context of Bayesian statistics, a theory of belief revision. The problem is reduced to an incremental learning task as follows: the learning system is initially primed with a partial theory supplied by a domain expert, and thereafter maintains its own internal representation of alternative theories which is able to be interrogated by the domain expert and able to be incrementally refined from data. Algorithms for refinement of Bayesian networks are presented to illustrate what is meant by "partial theory", "alternative theory representation", etc. The algorithms are an incremental variant of batch learning algorithms from the literature so can work well in batch and incremental mode.

研究の動機と目的

• 新たなデータの下でのドメイン理論の更新を、不確実性を意識した推論を維持したまま行う課題に対処すること。
• バッチ学習に依存するのではなく、データを用いた段階的精錬によるベイジアンネットワークの更新を可能にすること。
• 代替理論の表現を維持・照会可能にすることで、エキスパートの関与を支援すること。
• 理論精錬をベイジアン統計における信念再評価プロセスとして形式化すること。
• 理論的に妥当でありながら、現実世界の学習シナリオにおいて実用的に適用可能なアルゴリズムの開発

提案手法

• ドメインエキスパートが提供する部分的な理論を出発点とし、それをベイジアンネットワークとして符号化する。
• 複数の代替理論の内部表現を維持することで、モデル構造に関する不確実性を扱えるようにする。
• 新しいデータを用いて理論を段階的に更新し、ネットワーク構造とパラメータを適応的に変更する。
• 文献に登場するバッチ学習アルゴリズムの段階的変種を採用することで、バッチ学習モードとオンライン学習モードの両方を可能にする。
• 観測データに基づいて、ネットワーク構造とパラメータに関する信念をベイジアン更新によって再評価する。
• エキスパートのフィードバックは、内部理論表現の照会を許可することで統合され、精錬を導く。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてベイジアンネットワークを段階的に精錬し、新たなデータを組み込みつつ不確実性を保持できるか？
• RQ2 精錬の過程で複数の代替理論を効果的に表現・維持する方法は何か？
• RQ3 どのようにしてエキスパート知識を理論精錬プロセスに統合できるか？
• RQ4 既存のバッチ手法から、ベイジアンネットワークのための段階的学習アルゴリズムを導出できるか？
• RQ5 信念再評価において代替理論を維持することの計算的・表現的利点は何か？

主な発見

• 提案されたフレームワークは、新たなデータの到着に応じて継続的に精錬可能なベイジアンネットワークの段階的学習を効果的にサポートしている。
• 代替理論の表現を維持することで、不確実性を意識したモデル更新が可能になっている。
• アルゴリズムはバッチ学習モードと段階的学習モードの両方で有効であることが示され、理論的根拠が明確である。
• 照査可能な内部モデルを通じたエキスパートの関与が可能となり、システムの実用的有用性が向上している。
• ベイジアン統計に整合する、原理的で信頼性のある信念再評価のメカニズムを提供している。
• 従来のバッチ学習アルゴリズムを段階的設定に拡張することで、その理論的性質を保持している。