[論文レビュー] Instance Optimal Learning

Gregory Valiant, Paul Valiant|arXiv (Cornell University)|Apr 21, 2015

Machine Learning and Algorithms参考文献 32被引用数 10

ひとこと要約

本稿では、真の分布に関する事前仮定なしに、i.i.d.標本から経験的分布をノイズ除去することで、最小に近い $\ell_1$ 距離を達成するインスタンス最適な学習アルゴリズムを提示する。この手法は、マルチステージのラウンド方式を用いてヒストグラムのビンを適応的に丸めることで、真の分布がサポートと標本サイズ以外に不明であっても、任意の分布に対して理論的最小誤差に $o_n(1)$ の範囲で近づく。

ABSTRACT

We consider the following basic learning task: given independent draws from an unknown distribution over a discrete support, output an approximation of the distribution that is as accurate as possible in $\ell_1$ distance (i.e. total variation or statistical distance). Perhaps surprisingly, it is often possible to "de-noise" the empirical distribution of the samples to return an approximation of the true distribution that is significantly more accurate than the empirical distribution, without relying on any prior assumptions on the distribution. We present an instance optimal learning algorithm which optimally performs this de-noising for every distribution for which such a de-noising is possible. More formally, given $n$ independent draws from a distribution $p$, our algorithm returns a labelled vector whose expected distance from $p$ is equal to the minimum possible expected error that could be obtained by any algorithm that knows the true unlabeled vector of probabilities of distribution $p$ and simply needs to assign labels, up to an additive subconstant term that is independent of $p$ and goes to zero as $n$ gets large. One conceptual implication of this result is that for large samples, Bayesian assumptions on the "shape" or bounds on the tail probabilities of a distribution over discrete support are not helpful for the task of learning the distribution. As a consequence of our techniques, we also show that given a set of $n$ samples from an arbitrary distribution, one can accurately estimate the expected number of distinct elements that will be observed in a sample of any size up to $n \log n$. This sort of extrapolation is practically relevant, particularly to domains such as genomics where it is important to understand how much more might be discovered given larger sample sizes, and we are optimistic that our approach is practically viable.

研究の動機と目的

• 真の分布の構造に関する事前仮定を必要とせず、i.i.d.標本の経験的分布をノイズ除去し、真の分布との $\ell_1$ 距離を最小化する学習アルゴリズムの開発。
• あらゆる分布に対して、真の確率ベクトルのラベルなしで値を割り当てれば十分であるような、あらゆるアルゴリズムが達成可能な理論的最小誤差に一致する誤差バウンドの達成。
• 分布の尾部や構造に関するベイズ的または形状ベースの事前仮定が、大標本領域における $\ell_1$ 誤差の最小化に有益でないことを示すこと。
• 与えられた標本サイズ $n$ から、$n\log n$ のサイズに達するより大きな標本における未観測要素の期待数を正確に外挿できるようにすること。

提案手法

• アルゴリズムは、$j$ でインデックス付けされた段階で経験的ヒストグラムを処理し、各段階では $[2^{-(j+1)}, 2^{-j})$ の区間内の確率質量を考慮する。
• 各段階で、ヒストグラム値に対して二回のパスによるラウンド処理を実施：まず最初の要素を切り上げ、合計質量を保つために累積差分変数 $diff$ を調整する。
• 元のヒストグラム $g$ とノイズ除去後の出力 $h$ 間の誤差を制限するために、相対的地滑り距離（earthmover distance）フレームワークを用い、累積分布関数の比較を活用する。
• 変数変換により地滑り距離を変形し、$x$ を $\log x$ に変換することで、各段階で $O(2^{-j})$ の誤差が得られる積分範囲を導出する。
• 元の質量 $m$ と累積ラウンド不均衡 $diff$ を用いて、ラウンド済み値を $m/(m+diff)$ でスケーリングすることで、各段階間での質量保存を保証する。
• 最終的な誤差バウンドは、すべての段階 $j \geq \lfloor |\log_2 \alpha| \rfloor$ について合算することで導出され、与えられた $\alpha$ に対して総誤差が $20\alpha$ となる。

実験結果

リサーチクエスチョン

• RQ1 真の分布に関する構造的仮定なしに、経験的分布をノイズ除去することで、経験的分布の $\ell_1$ 誤差を著しく下回る誤差を達成できるか？
• RQ2 すべての分布に対して、$n \to \infty$ のとき消える定数項を除き、理論的最小期待 $\ell_1$ 誤差に一致するアルゴリズムは存在するか？
• RQ3 分布の形状や尾部挙動に関するベイズ的仮定は、$\ell_1$ の観点から学習性能をどの程度向上させるか？
• RQ4 標本サイズ $n$ から、$n\log n$ のサイズに達するより大きな標本における異なる要素の期待数を正確に推定できるか？

主な発見

• アルゴリズムは $\mathbb{E}[\|p - q\|_1] \leq \text{opt}(p,n) + o_n(1)$ を達成する。ここで $\text{opt}(p,n)$ は、真の確率ベクトルのラベルなしで値を割り当てれば十分であるような、あらゆるアルゴリズムが達成可能な最小期待誤差である。
• 誤差バウンドはインスタンス最適である：真の分布がサポートと標本サイズ以外に不明であっても、あらゆる分布 $p$ に対して、アルゴリズムの性能は理論的最小誤差に $o_n(1)$ の範囲で近づく。
• アルゴリズムは、$n$ 個の標本から、$n\log n$ のサイズに達する標本における異なる要素の期待数の正確な推定を可能にする。
• 本手法は、大標本極限において、分布の形状や尾部減衰に関する事前仮定が $\ell_1$ 誤差の低減に寄与しないことを示している。なぜなら、そのような仮定なしでもすでに最適誤差が達成可能だからである。
• 元の分布とノイズ除去後の分布の間の相対的地滑り距離は、与えられた $\alpha$ に対して $20\alpha$ 以下に抑えられる。このバウンドは段階的解析と積分における変数変換によって導出される。
• アルゴリズムの誤差項 $o_n(1)$ は $n \to \infty$ のとき消え、分布 $p$ に依存せず、$n$ のみに依存する。