[論文レビュー] Efficient Robust Proper Learning of Log-concave Distributions

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Jun 9, 2016

Machine Learning and Algorithms参考文献 40被引用数 13

ひとこと要約

本稿では、連続的および離散的ドメインの両方における一変量の対数凹型分布の計算的に効率的で、ロバストかつ適切な学習アルゴリズムを初めて提示する。このアルゴリズムは、$ O(\epsilon^{-5/2}) $ の最適な標本複雑度を達成し、時間計算量は $ \tilde{O}(\epsilon^{-4}) $ であり、モデルの不適合に対しても、合計変動距離において $ O(\text{OPT}) + \epsilon $ の近似精度を持つ対数凹型仮説を出力する。

ABSTRACT

A probability distribution over the Boolean cube is monotone if flipping the value of a coordinate from zero to one can only increase the probability of an element. Given samples of an unknown monotone distribution over the Boolean cube, we give (to our knowledge) the first algorithm that learns an approximation of the distribution in statistical distance using a number of samples that is sublinear in the domain. To do this, we develop a structural lemma describing monotone probability distributions. The structural lemma has further implications to the sample complexity of basic testing tasks for analyzing monotone probability distributions over the Boolean cube: We use it to give nontrivial upper bounds on the tasks of estimating the distance of a monotone distribution to uniform and of estimating the support size of a monotone distribution. In the setting of monotone probability distributions over the Boolean cube, our algorithms are the first to have sample complexity lower than known lower bounds for the same testing tasks on arbitrary (not necessarily monotone) probability distributions. One further consequence of our learning algorithm is an improved sample complexity for the task of testing whether a distribution on the Boolean cube is monotone.

研究の動機と目的

• 実数の集合と整数の集合の両方における一変量対数凹型分布の、計算的に効率的でロバストかつ適切な学習アルゴリズムの開発。
• 対数凹型族のアグノスティック学習における、定数要因を除いて最適な標本複雑度の達成。
• モデルの不適合に対してロバストであることを保証し、家族内での最良の近似と競争力のある誤差保証を提供すること。
• 解釈可能性が統計的モデリングにおいてしばしば求められる性質である「適切さ」を維持しながら、多項式時間で実行可能な手法の設計。

提案手法

• アルゴリズムは二段階のアプローチを採用する：まず、ターゲット分布の区分線形近似を得るために、非適切なアグノスティック学習アルゴリズムを適用する。
• 次に、区分線形密度を対数凹型となるような区分指数関数で近似する動的計画法のフレームワークを構築する。
• 動的計画法は、可能な対数確率値と区間端点の離散化された集合上で動作し、最短経路計算を用いて最良のフィットする対数凹型密度を特定する。
• 任意の対数凹型密度は、$ O(\epsilon^{-1/2}) $ 個の区間を持つ区分線形密度で $ \epsilon $-近似可能であるという近似定理を活用する。
• 近似と真の密度との間の合計変動距離を、$ \|g - h\|_1 \leq O(\text{OPT} + \epsilon) $ を保証するように慎重に設計された誤差バウンドを用いて計算する。
• 動的計画法の構造により対数凹型条件を強制することで、最終的な仮説が適切な対数凹型密度であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ロバストかつ適切な学習のための一変量対数凹型分布の最適な標本複雑度を達成することは可能か？
• RQ2 モデルの不適合に対してロバストであり、多項式時間で実行可能な適切な学習のためのアルゴリズムを設計することは可能か？
• RQ3 真の分布が対数凹型でない場合でも、家族内での最良の近似に近い対数凹型密度を効率的に計算することは可能か？
• RQ4 近似的に最良の誤差保証を達成しつつ、適切さを維持するための計算コストは何か？

主な発見

• アルゴリズムは、$ O(\epsilon^{-5/2}) $ の標本複雑度を達成しており、定数要因を除いて情報理論的に最適である。
• 実行時間は $ \tilde{O}(\epsilon^{-4}) $ であり、標本サイズ $ n $ で表すと $ \tilde{O}(n^{8/5}) $ であり、入力サイズに対して準二次的である。
• 出力仮説 $ h $ は、確率 9/10 以上で $ d_{\text{TV}}(h, f) \leq O(\text{OPT}) + \epsilon $ を満たす。ここで $ \text{OPT} = \inf_{g \in \text{LC}(D)} d_{\text{TV}}(f, g) $ である。
• このアルゴリズムは、一変量対数凹型分布の適切でロバストかつ効率的な学習ソリューションを提供する最初のものであり、長年の未解決問題を解決する。
• 動的計画法のアプローチは、$ k $ 個の対数凹型密度の混合物を学習するのにも拡張可能であるが、時間計算量は $ k $ に関して指数的になる。