[論文レビュー] Active Structure Learning of Bayesian Networks in an Observational Setting

Noa Ben-David, Sivan Sabato|arXiv (Cornell University)|Mar 25, 2021

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、1回のサンプルあたり観測可能な変数の数が限られている観測制約下でのベイジアンネットワーク構造学習のためのアクティブラーニング手法、ActiveBNSLを提案する。変数の観測を戦略的に選択し、マークフ・同値クラスを考慮することで、安定分布においてはサンプル複雑性が最大で\widetilde{\Omega}(d^3)まで低減され、最悪ケースの性能劣化は最小限に抑えられる。

ABSTRACT

We study active structure learning of Bayesian networks in an observational setting, in which there are external limitations on the number of variable values that can be observed from the same sample. Random samples are drawn from the joint distribution of the network variables, and the algorithm iteratively selects which variables to observe in the next sample. We propose a new active learning algorithm for this setting, that finds with a high probability a structure with a score that is $\\epsilon$-close to the optimal score. We show that for a class of distributions that we term stable, a sample complexity reduction of up to a factor of $\\widetilde{\\Omega}(d^3)$ can be obtained, where $d$ is the number of network variables. We further show that in the worst case, the sample complexity of the active algorithm is guaranteed to be almost the same as that of a naive baseline algorithm. To supplement the theoretical results, we report experiments that compare the performance of the new active algorithm to the naive baseline and demonstrate the sample complexity improvements. Code for the algorithm and for the experiments is provided at https://github.com/noabdavid/activeBNSL.

研究の動機と目的

• 医療、センサー、神経科学の応用分野で一般的な制約である、1サンプルあたり観測可能な変数数が限られている状況におけるベイジアンネットワーク構造学習の課題に対処すること。
• 変数サブセットを一様にサンプリングするナーブなベースライン手法と比較して、サンプル複雑性を低減するアクティブラーニングアルゴリズムの開発。
• 多くの変数関係が容易に特定可能であるため、理論的に顕著なサンプル複雑性の改善が可能な分布のクラス（「安定」と呼ばれるもの）の同定と特徴付け。
• 最悪ケースのシナリオにおいても、ナーブなベースラインとほぼ同等のサンプル複雑性を保証することで、アルゴリズムの頑健性を確保すること。
• 合成ネットワークおよびベンチマークネットワーク上で、実用的実装可能性と顕著なサンプル節約効果を実験的に示すこと。

提案手法

• 各サンプルでどの変数を観測するかを段階的に選択することで、構造学習における情報量の増加を最大化するアクティブラーニング手法、ActiveBNSLを提案する。
• 各DAGに、潜在的な分布に基づいたスコアを割り当て、最適スコアに\epsilon-近いスコアを持つ構造を探索することを目的としたスコアベースのフレームワークを採用する。
• マークフ・同値クラスを学習プロセスに直接組み込み、同値な構造の重複した探索を回避する。
• 濃度バインディングと一様収束の保証を活用し、学習された構造が高確率で近似的に最適であることを保証する。
• 既存の構造探索手順をブラックボックスとして統合することで、標準的なベイジアンネットワーク学習ソフトウェアを用いた実用的導入を可能にする。
• 「安定分布」と呼ばれる分布のクラスを定義・分析する。この分布クラスでは、多くの変数関係が容易に特定可能であり、サンプル複雑性の大幅な低減が理論的に可能となる。

実験結果

リサーチクエスチョン

• RQ1 観測制約下で、アクティブな変数選択はベイジアンネットワーク構造学習におけるサンプル複雑性の低減を可能にするか？
• RQ2 ナーブなサンプリングと比較して、アクティブラーニングが顕著なサンプル複雑性の優位性を示す分布のクラスは何か？
• RQ3 最悪ケースのシナリオにおいて、アクティブアルゴリズムの性能はナーブなベースラインと比べてどの程度劣化するか？
• RQ4 アルゴリズムは、潜在分布の構造的性質をどの程度活用して、必要なサンプル数を削減できるか？
• RQ5 このアクティブラーニング手法は、合成ネットワークおよび実世界のネットワークにおいて実用的に実装可能であり、実験的に妥当性を検証できるか？

主な発見

• 安定分布において、ActiveBNSLはサンプル複雑性を最大で\widetilde{\Omega}(d^3)まで低減する。ここでdはネットワークの変数数を表す。
• r=2^{19}の合成ネットワークにおいて、ActiveBNSLはナーブなアルゴリズムが要するサンプル数の15%にまで低減した。
• r=2^{19}のベンチマークネットワークにおいて、ActiveBNSLはナーブベースラインのサンプル数の6%にまで低減され、顕著な実験的利点が示された。
• サンプル複雑性の改善は、変数数dおよび精度パラメータr（\epsilonが小さい場合）の増加に伴い増大し、より高い精度要件の下でより強い利点が得られることが示された。
• rが小さい場合（例：r=2^{13}）には、ActiveBNSLとナーブなアルゴリズムの両方がほぼ同じサンプルサイズを要するため、この領域ではほとんど利点がないことが示された。
• 有利な設定下では、アルゴリズムが初期段階でより多くのファミリーを効率的に受容できており、これがサンプルサイズの大幅な低減と相関していた。