[論文レビュー] Data Amplification: Instance-Optimal Property Estimation

Hao Yi, Alon Orlitsky|arXiv (Cornell University)|Mar 4, 2019

Machine Learning and Algorithms参考文献 34被引用数 5

ひとこと要約

本稿では、シャノンエントロピー、サポートサイズ、カバレッジ、ℓ₁距離といった離散的分布の性質に対して、インスタンス最適な性能を達成するデータ拡張推定器を提案する。新しい線形時間アルゴリズムを活用することで、データを対数因子で拡張し、n log n 個のサンプルを使用する経験的プラグイン推定器と同等の精度を、n 個のサンプルのみで達成可能であり、これはあらゆる個々の分布に対して成り立つ。これは最悪ケースに限らない。

ABSTRACT

The best-known and most commonly used distribution-property estimation technique uses a plug-in estimator, with empirical frequency replacing the underlying distribution. We present novel linear-time-computable estimators that significantly "amplify" the effective amount of data available. For a large variety of distribution properties including four of the most popular ones and for every underlying distribution, they achieve the accuracy that the empirical-frequency plug-in estimators would attain using a logarithmic-factor more samples. Specifically, for Shannon entropy and a very broad class of properties including $\ell_1$-distance, the new estimators use $n$ samples to achieve the accuracy attained by the empirical estimators with $n\log n$ samples. For support-size and coverage, the new estimators use $n$ samples to achieve the performance of empirical frequency with sample size $n$ times the logarithm of the property value. Significantly strengthening the traditional min-max formulation, these results hold not only for the worst distributions, but for each and every underlying distribution. Furthermore, the logarithmic amplification factors are optimal. Experiments on a wide variety of distributions show that the new estimators outperform the previous state-of-the-art estimators designed for each specific property.

研究の動機と目的

• 単純で現実的であるがゆえに、従来のミニマックス推定器が過剰に悲観的になるという限界を是正すること。
• あらゆる潜在分布に対して、n log n 個のサンプルで達成可能な経験的推定器の精度を、n 個のサンプルのみで達成する推定器を設計すること。
• アルファベットサイズが既知であることや最小確率閾値が与えられているといった現実的でない仮定に依存しないこと。
• エントロピー、サポートサイズ、カバレッジ、ℓ₁距離を含む広範な分布の性質に適用可能な統一的かつインスタンス最適なフレームワークを提供すること。
• 対数因子の拡張が情報理論的に最適であり、これ以上の向上は不可能であることを示すこと。

提案手法

• サンプリング回数をモデル化するためのポisson化技術を用いた、線形時間で計算可能な推定器を提案する。これにより解析的扱いが可能になる。
• 経験的頻度に基づくバイアス補正済みで平滑化された推定器を採用し、サンプリング回数のポisson近似から導かれる補正項を用いる。
• 各分布インスタンスを独立に処理する、新しいデータ拡張フレームワークを導入し、インスタンスごとの最適性を保証する。
• 多項分布のカウントにおける負の相関性を用いて、カバレッジおよびサポートサイズ推定器における分散を抑え、推定誤差を制御する。
• Jensenの不等式と集中不等式を適用し、提案推定器と経験的推定器との間の平均絶対偏差を制御する。
• 真の性質値で正規化することで推定誤差のタイトな境界を導出し、相対誤差の保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 すべての個々の分布に対して、n log n 個のサンプルで達成可能な経験的推定器の精度を、n 個のサンプルのみで達成できる分布の性質推定器を設計できるか？
• RQ2 サポートサイズおよびカバレッジ推定において、アルファベットサイズが既知であることや最小確率閾値が与えられているといった仮定を排除することは可能か？
• RQ3 √log n を超える拡張因子として log n を達成でき、かつこの境界が情報理論的に最適であるか？
• RQ4 多様な分布において、提案推定器は最先端の推定器と比べて誤差とサンプル効率の両面で優れているか？
• RQ5 分布構造に関する事前知識を必要とせず、計算効率を損なわず、インスタンス最適性を達成できるか？

主な発見

• 提案された推定器は、あらゆる潜在分布に対して、n log n 個のサンプルを使用する経験的プラグイン推定器と同等の期待推定誤差を達成するが、n 個のサンプルのみで実現可能である。
• 対数因子の拡張である log n は情報理論的に最適であり、これ以上の改善は不可能である。
• シャノンエントロピーおよび ℓ₁距離に関して、新しい推定器は n log n 個のサンプルで達成可能な経験的推定器の性能を、n 個のサンプルのみで再現する。
• サポートサイズおよびカバレッジに関して、誤差は ±εS で抑えられ、S が k よりも著しく小さい場合でも正確な推定が可能である。
• 推定器は計算的に効率的であり、線形時間 O(n) で実行され、多様な分布における実験で、従来の最先端の推定器を上回る性能を示している。
• 小規模なサンプルサイズでも滑らかに劣化し、n < k/log k の場合でも保証が得られるのに対し、従来の手法ではそのような保証が得られなかった。