[論文レビュー] Learning High-Dimensional Markov Forest Distributions: Analysis of Error Rates

Vincent Y. F. Tan, Animashree Anandkumar+1 more|arXiv (Cornell University)|May 5, 2010

Bayesian Methods and Mixture Models被引用数 5

ひとこと要約

本稿では、適応しきい値を用いて Chow-Liu 樹木からのエッジの刈り込みを施すことにより、高次元の森構造付き離散的グラフィカルモデルを学習するための CLThres アルゴリズムを提案する。構造的・リスク的整合性が確立され、次第に次元数が増加するが、標本サイズに対して指数関数的に増加する場合でさえも、誤差確率が任意の多項式よりも速く減少することを示している。

ABSTRACT

The problem of learning forest-structured discrete graphical models from i.i.d. samples is considered. An algorithm based on pruning of the Chow-Liu tree through adaptive thresholding is proposed. It is shown that this algorithm is both structurally consistent and risk consistent and the error probability of structure learning decays faster than any polynomial in the number of samples under fixed model size. For the high-dimensional scenario where the size of the model d and the number of edges k scale with the number of samples n, sufficient conditions on (n,d,k) are given for the algorithm to satisfy structural and risk consistencies. In addition, the extremal structures for learning are identified; we prove that the independent (resp. tree) model is the hardest (resp. easiest) to learn using the proposed algorithm in terms of error rates for structure learning.

研究の動機と目的

• 標本サイズがモデル次元数に比べて小さい状況において、スパースで高次元のグラフィカルモデルを学習する課題に対処すること。
• 高次元設定において Chow-Liu アルゴリズムの過学習問題を、一貫性のある刈り込み機構を導入することで克服すること。
• 標本サイズ、次元数、エッジ数の一般な増加条件の下で、提案されたアルゴリズムの構造的・リスク的整合性に関する理論的保証を確立すること。
• 誤差率の観点から、学習が最も困難で最も容易な構造—つまり、独立モデルと木構造モデル—を同定すること。

提案手法

• CLThres アルゴリズムを提案し、Chow-Liu 樹木からの弱いエッジを適応しきい値で刈り込むことで真の森構造を回復する。
• タイプの方法とユークリッド情報理論を用いて、過大推定および過小推定の誤差確率のタイトな境界を導出する。
• 凸双対性を適用し、過大推定誤差率を半定値計画問題に結びつけることで、精密な漸近的解析を可能にする。
• i.i.d. サンプリングの下で、誤った構造推定の確率を制限するために、KLダイバージェンスとタイプクラス確率を利用する。
• リスク整合性のためのターゲットとして、真の分布の森へのプロジェクションを導入し、すべての森構造付きモデルの中でKLダイバージェンスを最小化する。
• ピンスカーリンクリプトと結合確率の一様な下界を用いて、推定分布と真の分布間のKLダイバージェンスの確率的境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 高次元の森構造付きグラフィカルモデルを学習する際、CLThres アルゴリズムがどのような条件下で構造的整合性を達成するか。
• RQ2 特に高次元的状況下で、構造学習の誤差確率が標本サイズの関数としてどれほど速く減少するか。
• RQ3 CLThres アルゴリズムの学習難易度の観点から、極値的構造—すなわち、最も高い誤差率と最も低い誤差率を示す構造—は何か。
• RQ4 推定モデルのリスクが、最良の森構造付き分布とのリスクにどれほど収束するか。
• RQ5 モデル次元数 d が標本数 n の任意の多項式よりも速く増加する場合でも、構造的整合性を維持できるか。

主な発見

• CLThres アルゴリズムは構造的整合性を達成する：固定された d に対して、誤った構造を学習する確率は、標本数 n の任意の多項式よりも速く減少する。
• 過大推定誤差確率が総誤差率を支配し、d が n に対して指数関数的に増加する場合でさえも、n の任意の多項式よりも速く減少する。
• 高次元的状況下では、d = o(exp(nδ)) かつ結合分布の最小成分にやや厳しい条件が満たされる限り、構造的整合性が成立する。
• アルゴリズムはリスク的にも整合性を持つ：真の分布と推定モデルとの間のKLダイバージェンスは、真の分布とその最良の森へのプロジェクションとのKLダイバージェンスに収束する。
• 独立モデルは構造学習の誤差率において最も学習が困難であり、木構造モデルは最も容易である。
• リスク整合性の収束速度は、任意の γ > 0 に対して O_p(d log d / n^{1−γ}) であり、次元数に比べてゆっくりと増加する標本サイズでも収束が保証されることを示している。