[論文レビュー] Lower Bounds on Active Learning for Graphical Model Selection

Jonathan Scarlett, Volkan Cevher|arXiv (Cornell University)|Jul 8, 2016

Machine Learning and Algorithms参考文献 21被引用数 5

ひとこと要約

本稿は、次数制限付きグラフクラスにおけるイジングモデルおよびガウスモデルのグラフィカルモデル選択におけるアクティブラーニングについて、アルゴリズムに依存しないミニマックス下界を確立する。Fanoの不等式と部分観測に特化した新しい相互情報量の境界を用いて、多くの場合においてアクティブラーニングは被動ラーニングに比べてミニマックス的に顕著な改善をもたらさないことを示す。イジングモデルでは最大次数が根本的であり、ガウスモデルでは特定のアンサンブル下で平均次数が支配的である。

ABSTRACT

We consider the problem of estimating the underlying graph associated with a Markov random field, with the added twist that the decoding algorithm can iteratively choose which subsets of nodes to sample based on the previous samples, resulting in an active learning setting. Considering both Ising and Gaussian models, we provide algorithm-independent lower bounds for high-probability recovery within the class of degree-bounded graphs. Our main results are minimax lower bounds for the active setting that match the best known lower bounds for the passive setting, which in turn are known to be tight in several cases of interest. Our analysis is based on Fano's inequality, along with novel mutual information bounds for the active learning setting, and the application of restricted graph ensembles. While we consider ensembles that are similar or identical to those used in the passive setting, we require different analysis techniques, with a key challenge being bounding a mutual information quantity associated with observed subsets of nodes, as opposed to full observations.

研究の動機と目的

• グラフィカルモデル選択におけるアクティブラーニング理論のギャップを埋めるために、アルゴリズムに依存しない下界を確立すること。
• 次数制限付きグラフィカルモデルにおいて、アクティブラーニングが被動ラーニングに比べて根本的にサンプル複雑性を改善するかを特定すること。
• 異なるモデルクラスにおいて、最大次数か平均次数のどちらが根本的限界を支配するかを同定すること。
• アクティブラーニングにおける部分的かつ適応的観測下での相互情報量をバウンドするための新しい解析的手法を開発すること。
• 制限付きグラフアンサンブルを構築することで、アクティブラーニングが明示的な利点を示す領域を同定すること。

提案手法

• 適応的サンプリングと部分観測を考慮したFanoの不等式の変種を導入し、アクティブラーニング設定に適応する。
• 部分観測におけるアクティブラーニングの解析に不可欠な、ノード部分集合に対する新しい相互情報量の境界を導入する。
• 識別が難しいグラフペアを構築するために、孤立した辺や1辺を除いたクリークなどの制限付きグラフアンサンブルを用いる。
• イジングモデルおよびガウスグラフィカルモデルの両方に対して、次数制約下でのミニマックス下界を導出する。
• ガウスモデルではジーニー・アーギュメントを用い、上位の$\alpha p$個のノードの次数が定数倍の範囲にある場合、平均次数がガウスモデルにおける下界の支配的要因になることを明らかにする。
• エッジ数制限付きグラフクラスへの分析を拡張し、Erdős–Rényiやパワー則ネットワークなどのランダムグラフモデルへの含意を議論する。

実験結果

リサーチクエスチョン

• RQ1 ミニマックス的観点から、グラフィカルモデル選択においてアクティブラーニングは被動ラーニングに比べて根本的にサンプル複雑性の改善をもたらすか？
• RQ2 最大次数か平均次数のどちらが、アクティブグラフィカルモデル選択における情報理論的限界を支配するより根本的なパラメータか？
• RQ3 アクティブラーニング設定下で、観測されたノード部分集合と元のグラフとの間の相互情報量を効果的にバウンドできるか？
• RQ4 アクティブラーニングが被動ラーニングを上回るサンプル複雑性の改善を達成できないようなグラフアンサンブルは存在するか？
• RQ5 エッジパラメータまたは相関構造がグラフ全体で変化する場合、根本的限界はどのように変化するか？

主な発見

• イジングモデルでは、ミニマックス下界が最大次数$d_{\mathrm{max}}$に比例してスケーリングすることを示し、最悪ケースにおいてアクティブラーニングが$d_{\mathrm{max}}$依存性を被動ラーニングを上回って改善できないことを示す。
• ガウスモデルでは、サイズが異なるクリークを含む特定のアンサンブル下で、下界が平均次数$d_{\mathrm{avg}}$に依存し、先行研究の$O((1 + d_{\mathrm{avg}})p\log p)$上界と対数因子を除いて一致する。
• 本稿は、次数制限付きグラフではアクティブラーニングがミニマックスサンプル複雑性を顕著に改善しないことを確立しており、下界が既知の最良の被動ラーニングの下界と一致する。
• ジーニー・アーギュメントにより、上位$\alpha p$個のノードの次数が定数倍の範囲にある場合、ガウスモデルにおける下界において平均次数が支配的要因になることが明らかになった。
• 分析から、アクティブラーニングにおける部分観測の相互情報量をバウンドするには、被動ラーニングで用いられる手法を超える新しい技術が必要であることが示され、特に部分集合サンプリングからの情報のバウンドにおいて顕著である。
• 一部のケース、例えば高次元クリークを有するイジングモデルでは、最大次数がアクティブラーニング下でも根本的なボトルネックのまま残ることが示唆される。