[論文レビュー] Learning diagnostic policies from examples by systematic search

Valentina Bayer‐Zubek|arXiv (Cornell University)|Jul 7, 2004

AI-based Problem Solving and Planning参考文献 16被引用数 18

ひとこと要約

本稿では、正則化されたMDPを用いた系統的探索による、期待される総コストを最小化するコスト感受性診断方針を学習するための体系的探索手法を提案する。過学習の制御は正則化子を用いて行う。実験的に、系統的探索はベイジアンネットワーク構造を仮定しないベンチマークデータセットにおいて、価値の情報などの貪欲法を上回り、より正確で頑健な診断方針を提供することを示している。

ABSTRACT

A diagnostic policy specifies what test to perform next, based on the results of previous tests, and when to stop and make a diagnosis. Cost-sensitive diagnostic policies perform tradeoffs between (a) the costs of tests and (b) the costs of misdiagnoses. An optimal diagnostic policy minimizes the expected total cost. We formalize this diagnosis process as a Markov Decision Process (MDP). We investigate two types of algorithms for solving this MDP: systematic search based on the AO* algorithm and greedy search (particularly the Value of Information method). We investigate the issue of learning the MDP probabilities from examples, but only as they are relevant to the search for good policies. We do not learn nor assume a Bayesian network for the diagnosis process. Regularizers are developed that control overfitting and speed up the search. This research is the first that integrates overfitting prevention into systematic search. The paper has two contributions: it discusses the factors that make systematic search feasible for diagnosis, and it shows experimentally, on benchmark data sets, that systematic search methods produce better diagnostic policies than greedy methods.

研究の動機と目的

• テストコストと誤診罰則のバランスをとった最適な診断方針を学習するための手法を開発すること。
• 方針探索中に限られた例からのMDP確率推定における過学習の課題に対処すること。
• 系統的探索（AO*）と貪欲法（例：価値の情報）を用いた診断方針学習における比較を行うこと。
• 過学習防止を方針探索プロセスに直接統合することを目的とし、事後に適用するのではなく。
• ベイジアンネットワーク構造を仮定しない実世界の診断ベンチマークデータセット上で、系統的探索の性能を評価すること。

提案手法

• 行動がテスト選択であり、状態が部分的なテスト結果の系列である、マーカフ決定過程（MDP）として診断方針学習問題を形式化する。
• 与えられたMDP仮定の下で探索空間内で最適性を保証する、方針木上の系統的探索にAO*アルゴリズムを適用する。
• 学習例からの確率推定を制約するためのカスタム正則化子を導入し、MDPパラメータ学習中の過学習を低減する。
• ベイジアンネットワーク構造を仮定せず、例に基づいたMDP遷移確率および報酬確率の推定を実施する。
• 比較のためのベースラインとして、貪欲法（特に価値の情報法）を適用する。
• 系統的探索と正則化された確率推定を組み合わせることで、一般化性能と探索効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 AO*を用いた系統的探索は、コスト感受性診断において価値の情報などの貪欲法よりも優れた診断方針を生み出せるか？
• RQ2 限られた診断例からのMDP確率推定において、正則化子は過学習をどれほど効果的に防止できるか？
• RQ3 大規模な診断方針学習において、系統的探索を計算的に実行可能にする要因は何であるか？
• RQ4 過学習制御を探索プロセスに直接統合することで、分離された正則化と比較して方針品質が向上するか？
• RQ5 ベンチマーク診断データセットにおいて、系統的探索と貪欲法の両者を期待される総コストと頑健性の観点から比較するとどうなるか？

主な発見

• 正則化された確率推定を用いたAO*による系統的探索は、貪欲法よりも期待される総コストが低い診断方針を生成した。
• 正則化子による過学習制御の統合は、方針の一般化性能と探索の安定性を顕著に向上させた。
• 効率的なプルーニングと正則化を組み合わせることで、系統的探索は診断MDPに対して計算的に実行可能であることが判明した。
• 提案手法は、ベイジアンネットワークを仮定しないベンチマークデータセットにおいて、貪欲法を上回り、優れた方針品質を示した。
• 正則化は、特に訓練データが限られている場合に、MDP確率推定における過学習を低減した。
• 本研究では、系統的探索がコスト感受性設定における診断方針学習の代替手段として実用的かつ優れていることが立証された。