[論文レビュー] Learning mixtures of structured distributions over discrete domains

Siu-On Chan, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Oct 2, 2012

Machine Learning and Algorithms参考文献 46被引用数 57

ひとこと要約

本稿では、[n] 上の構造的離散分布の混合を学習する一般化されたアルゴリズムを提示する。この手法は、このような分布が少数のビンを持つヒストグラムでよく近似可能であるという事実に依拠している。本手法は、対数凹型、単調ハザードレート（MHR）、一様型分布の混合を学習する際に、近似的に最適なサンプルおよび時間計算量を達成する。対数凹型混合では、nに依存しないサンプル複雑性を達成し、すべてのクラスにおいてεおよびkに対するほぼ最適な依存関係を実現する。

ABSTRACT

Let $\mathfrak{C}$ be a class of probability distributions over the discrete domain $[n] = \{1,...,n\}.$ We show that if $\mathfrak{C}$ satisfies a rather general condition -- essentially, that each distribution in $\mathfrak{C}$ can be well-approximated by a variable-width histogram with few bins -- then there is a highly efficient (both in terms of running time and sample complexity) algorithm that can learn any mixture of $k$ unknown distributions from $\mathfrak{C}.$ We analyze several natural types of distributions over $[n]$, including log-concave, monotone hazard rate and unimodal distributions, and show that they have the required structural property of being well-approximated by a histogram with few bins. Applying our general algorithm, we obtain near-optimally efficient algorithms for all these mixture learning problems.

研究の動機と目的

• 制限の厳しい仮定を設けずに、[n] 上の構造的離散分布の混合を学習する一般化された効率的アルゴリズムの開発を目的とする。
• 少数のビンを持つヒストグラムでよく近似可能な広範な分布クラスの同定を目的とする。これにより、効率的な学習が可能になる。
• 対数凹型、MHR、一様型分布の混合を学習するにあたり、サンプルおよび時間計算量をほぼ最適化することを目的とする。
• パラメータ推定による指数的サンプル複雑性を回避するため、密度推定に焦点を当てる。
• 対数凹型や一様型といった自然な分布クラスの、ヒストグラム近似に基づく新しい構造的性質を確立することを目的とする。

提案手法

• コアとなる手法は、クラスCに属する各分布が少数のビンを持つ可変幅ヒストグラムでよく近似可能であれば、任意の混合分布を学習できる一般化されたフレームワークに依拠している。
• フレームワークは平坦分解技術を用いる：分布がk個の区間へ分割可能で、各区間で分布がほぼ一様である場合、その分布は(ε, k)-平坦と呼ばれる。
• 対数凹型、MHR、一様型分布に対して、著者らはこれらが(ε, O(log n / ε))-平坦であることを証明し、効率的なヒストグラム近似を可能にする。
• アルゴリズムは未知の混合分布からサンプリングを行い、経験的頻度に基づいてヒストグラム型仮説を構築し、高い確率で全変動距離がε以下になるように保証する。
• 実行時間はビット演算解析により最適化され、MHRおよび一様型混合では、複雑性が Õ(k log² n / ε⁴) に比例する。
• 下界は、既存の結果（例：Birgéの境界）を適応して導出され、すべてのクラスにおいてサンプル複雑性がほぼ最適であることが示された。

実験結果

リサーチクエスチョン

• RQ1 近似的に最適なサンプルおよび時間計算量を達成する一般化されたアルゴリズムを、構造的離散分布の混合を学習するために設計可能か？
• RQ2 自然な離散分布クラス（例：対数凹型、MHR、一様型）の中で、少数のビンを持つヒストグラムで効率的に近似可能なものはどれか？
• RQ3 特定のクラス、例えば対数凹型分布において、このような混合の学習におけるサンプル複雑性がnに依存しないか？
• RQ4 高k混合において、パラメータ推定と比較して、提案手法のサンプル複雑性はどのように異なるか？
• RQ5 サンプル複雑性における1/εの依存関係を立方乗から二次関数に改善でき、情報理論的最適値に近づけるか？

主な発見

• 対象領域 [n] 上のk個の対数凹型分布の混合に対して、アルゴリズムは k·Õ(1/ε⁴) 個のサンプルを用い、Õ(k log n / ε⁴) 回のビット演算で実行され、サンプル複雑性はnに依存しない。
• k個のMHR分布に対しては、O(k log(n/ε)/ε⁴) 個のサンプルと Õ(k log² n / ε⁴) 回のビット演算が必要であり、既知の Ω(k log n / ε³) サンプル下界と対数因子を除いて一致する。
• k個の一様型分布に対しては、O(k log n / ε⁴) 個のサンプルと Õ(k log² n / ε⁴) 回のビット演算を要し、Ω(k log n / ε³) のサンプル下界と一致する。
• 本手法により、対数凹型、MHR、一様型分布がすべて (ε, O(log n / ε))-平坦であることが示され、それらの効率的ヒストグラム近似が可能になる。
• k=1 の対数凹型分布のサンプル複雑性は Õ(1/ε³) であり、ポアソン二項分布に対する既存の結果を改善し、すべての対数凹型分布に一般化される。
• フレームワークにより、サンプル複雑性におけるkおよびt（t-モーダル分布の場合）への線形依存性が定数因子を除いて最適であり、1/ε⁴ への依存性がほぼ最適であることが示された。