[論文レビュー] Dirichlet draws are sparse with high probability

Matus Telgarsky|arXiv (Cornell University)|Jan 21, 2013

Bayesian Methods and Mixture Models参考文献 1被引用数 9

ひとこと要約

この論文は、パラメータ α = 1/n のディリクレ分布からの標本が、通常はスパースであることを厳密な確率論的分析によって示している。これは、任意の多項式的閾値 n^{-c₀} を超える座標の数が対数的である、つまり O(ln n) 個であることを意味する。ガンマ表現とチェルノフ不等式を用いて、高確率で大きな座標の数が ln(n) に対して線形的に増加することを証明し、機械学習分野における経験的観察を裏付け、スパース事前分布に向けたきめの細かい集中不等式を提供する。

ABSTRACT

This note provides an elementary proof of the folklore fact that draws from a Dirichlet distribution (with parameters less than 1) are typically sparse (most coordinates are small).

研究の動機と目的

• 機械学習で一般的な高次元設定において、小さなパラメータを持つディリクレ分布からの標本がスパースであるという広く知られた主張を形式的に確立すること。
• スパース性の閾値（n^{-c₃}）とそれらを超える座標数の間のトレードオフを、粗い ln(n) の境界を越えて定量的に評価すること。
• α = 1/n² の場合のディリクレ分布の挙動を分析し、通常は定数個の座標しか非無視的でないことを示すこと。
• 実用的なモデル設計に応用可能な、非漸近的かつきめの細かい集中不等式を、ディリクレ分布からの大きな座標数について提供すること。

提案手法

• 標準的なディリクレ-ガンマ表現を用いる：Dir(α) ≡ (Y₁/ΣYᵢ, ..., Yₙ/ΣYᵢ) ただし Yᵢ ∼ Gamma(α)。
• ガンマ分布のCDFに対するスケーリング不等式を適用：z ≥ 1 に対して Pr[Gamma(α) ≤ zc] ≤ z^α Pr[Gamma(α) ≤ c]。
• スケーリングされたガンマ変数に基づく閾値イベントを定義し、ε = n^{-c₃} を超える座標が多すぎる確率を抑えられるようにする。
• Yᵢ > c となるインジケータ変数の和に対するチェルノフ不等式を用いて、大きな値をとる座標数を制御する。
• 和の裾の確率と個々の尾確率の境界を組み合わせることで、ε を超える座標数が高々 k 個である確率の下界を導出する。
• すべての結果の根幹となる不等式として、Pr[|{i: Xᵢ ≥ ε}| ≤ k] ≥ 1 - ε^{-nα}e^{-(k+1)/3} - e^{-4(k+1)/9} を用いる。

実験結果

リサーチクエスチョン

• RQ1 高確率で（1 - 1/n^{c₀}）、Dir(1/n) からの標本において、n^{-c₀} を超える座標はいくつあると予想されるか？
• RQ2 大きな座標数の n に対する対数的依存性が、厳密に境界づけられるか？ そして、最もきつい境界は何か？
• RQ3 ディリクレパラメータを α = 1/n² に低下させた場合、スパース性はどのように変化するか？ また、非無視的座標数が定数個に減るか？
• RQ4 一般の場合において、スパース性の閾値、大きな座標数、信頼水準の間のトレードオフはどのように相互作用するか？
• RQ5 この解析を、逆アッカーマン関数を含む対数未満の閾値へと拡張できるか？

主な発見

• Dir(1/n) に対して、高確率（1 - 1/n^{c₀}）で、n^{-c₀} を超える座標は高々 6c₀ ln(n) 個である。
• α = c₁/n の場合、n^{-c₃} を超える座標数は、確率 1 - (1/n)^{(c₂/3) - c₁c₃}/e^{1/3} - (1/n)^{4c₂/9}/e^{4/9} 以上で c₂ ln(n) 以下に抑えられる。
• α = 1/n² の場合、確率 0.64 以上で、n^{-2} を超える座標は高々 5 個である。
• 任意の関数 g(n) に対して、ln(g(n)) 個以下の座標が n^{-2} を超える確率は、1 - e^{2/e - 1/3} (1/g(n))^{1/3} - e^{-4/9} (1/g(n))^{4/9} 以上である。
• シミュレーションにより、閾値の指数と大きな座標数の間には線形関係があることが確認されており、ln(n) のスケーリングが証明の副産物ではないことが裏付けられている。
• α が小さい、たとえば α = 1/n² の場合、境界がタイトになる。このとき、高確率で非無視的座標数は定数個に抑えられる。