[論文レビュー] Active Learning Algorithms for Graphical Model Selection

Gautam Dasarathy, Aarti Singh+2 more|arXiv (Cornell University)|Feb 1, 2016

Machine Learning and Algorithms参考文献 40被引用数 8

ひとこと要約

本稿では、高次元グラフィカルモデル選択のための新規なアクティブラーニングフレームワークを提案する。このフレームワークは、高次の頂点を適応的にサンプリングし、低次の頂点からのデータ収集を最小限に抑えることで、標本複雑性を低減する。局所的複雑性指標 $\bar{d}_{\text{max}}$（各頂点の近傍における最大次数の平均）を導入することで、著者らは AdPaCT および AMPL というアルゴリズムが $\mathcal{O}(\bar{d}_{\text{max}}p\log p)$ の標本複雑性を達成することを示した。これは、$d_{\text{max}}$ に比例するスケーリングを示す受動的アプローチよりも顕著に改善されたものである。この結果、非一様な次数分布を示す高次元設定において、明示的な性能向上が得られる。

ABSTRACT

The problem of learning the structure of a high dimensional graphical model from data has received considerable attention in recent years. In many applications such as sensor networks and proteomics it is often expensive to obtain samples from all the variables involved simultaneously. For instance, this might involve the synchronization of a large number of sensors or the tagging of a large number of proteins. To address this important issue, we initiate the study of a novel graphical model selection problem, where the goal is to optimize the total number of scalar samples obtained by allowing the collection of samples from only subsets of the variables. We propose a general paradigm for graphical model selection where feedback is used to guide the sampling to high degree vertices, while obtaining only few samples from the ones with the low degrees. We instantiate this framework with two specific active learning algorithms, one of which makes mild assumptions but is computationally expensive, while the other is more computationally efficient but requires stronger (nevertheless standard) assumptions. Whereas the sample complexity of passive algorithms is typically a function of the maximum degree of the graph, we show that the sample complexity of our algorithms is provable smaller and that it depends on a novel local complexity measure that is akin to the average degree of the graph. We finally demonstrate the efficacy of our framework via simulations.

研究の動機と目的

• 高次元グラフィカルモデルにおける完全な結合サンプルの収集コストが高いため、特にセンサーネットワークやプロテオミクスのような応用分野において、これを解決すること。
• 全結合観測ではなく、変数の部分集合からの選択的・適応的サンプリングを可能にすることで、総標本複雑性を低減すること。
• 高次の頂点に向けたサンプリングを促進すると同時に、低次の頂点からのデータ収集を最小限に抑える一般化されたアクティブラーニングフレームワークの開発。
• 標本複雑性が、グローバル最大次数 $d_{\text{max}}$ ではなく、新規な局所的指標 $\bar{d}_{\text{max}}$ に依存することを示すこと。
• 標準的仮定の下で、計算的に効率的かつ証明可能な正確性を有する構造学習のためのアルゴリズムの開発。

提案手法

• フィードバックを用いてどの変数サブセットをサンプリングするかを指針とするメタアルゴリズム（アルゴリズム1）を提案。
• 2つの実装例を提示：AdPaCT（適応的部分相関検定を伴う包括的探索）および AMPL（効率的なラッソベースの近傍選択）。
• 2つのコアサブルーチンを採用：nbdSelect（候補近傍選択）および nbdVerify（近傍検証）、これらは条件(C1)および(C2)を満たす。
• AMPLではスパarsity仮定の下で効率的な近傍推定を実現するため、$\ell_1$-正則化回帰（ラッソ）を採用。
• $\bar{d}_{\text{max}}$ を定義し、各頂点の近傍における最大次数の平均として、$d_{\text{max}}$ の代わりに標本複雑性の上限に用いる局所的複雑性指標とする。
• 次数の推定値が高い頂点を優先してさらなるサンプリングを行うフィードバック駆動型サンプリング戦略を採用。

実験結果

リサーチクエスチョン

• RQ1 受動的アプローチと比較して、アクティブサンプリング戦略は、正確なグラフィカルモデル構造回復に必要なスカラーサンプル総数を低減できるか？
• RQ2 アクティブラーニングの標本複雑性は、グローバル最大次数 $d_{\text{max}}$ ではなく、局所的グラフ特性（例：$\bar{d}_{\text{max}}$）に依存するか？
• RQ3 標準的仮定の下で、計算的に効率的なアルゴリズムが包括的探索法と同等の標本複雑性を達成できるか？
• RQ4 非一様な次数分布を示すグラフにおいて、アクティブラーニングアルゴリズムの性能は、受動的近傍回帰（例：マインシャウーゼン＝ブーリマン）と比較してどうなるか？
• RQ5 本フレームワークは、ガウス型グラフィカルモデルを超えて、イジングモデルなどの指数型分布族モデルへも拡張可能か？

主な発見

• AdPaCT および AMPL の標本複雑性は $\mathcal{O}(\bar{d}_{\text{max}}p\log p)$ であり、これは受動的アプローチの $\mathcal{O}(d_{\text{max}}p\log p)$ よりも明示的に小さいことが示された。
• シングルクリークグラフでは、AMPLは有効サンプル数1202.1（ESC(0.9)）を要したが、MBは3361.8を要し、サンプル使用量が64％削減された。
• マルチプルクリークグラフでは、AMPLはESC(0.9)が1154.3、MBは2943.8であったため、有効サンプル数が60％削減された。
• パワー法則グラフでは、AMPLは有効サンプル数1280.2（ESC(0.9)）を要したが、MBは2300.4であったため、スケールフリーなネットワークにおいても一貫した改善が確認された。
• 全テストグラフにおいて、AMPLの平均ハミング誤差はMBよりも一貫して低く、特にサンプル数が少ない状況で顕著に優れたモデル選択精度を示した。
• 本フレームワークはガウスモデルを超えて拡張可能である。イジングモデルでは、$\ell_1$-正則化ロジスティック回帰と条件付き独立性検定がサブルーチンに置き換えられ、より広範な適用性が得られる。