[論文レビュー] Data Amplification: A Unified and Competitive Approach to Property Estimation

Hao Yi, Alon Orlitsky+2 more|arXiv (Cornell University)|Mar 29, 2019

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、$n\sqrt{\log n}$ 個のサンプルを用いた経験的推定器と同等の性能を達成するが、サンプル数をわずか $2n$ 個に抑える、統一的で線形時間の性質推定手法である Data Amplification を提案する。分布に依存しないデータ拡張を実現し、多様な性質や分布において既存の推定器を上回る性能を示し、多くの場合で $n\log n$ 個のサンプルを用いた性質特化型推定器と同等またはそれ以上の性能を達成する。

ABSTRACT

Estimating properties of discrete distributions is a fundamental problem in statistical learning. We design the first unified, linear-time, competitive, property estimator that for a wide class of properties and for all underlying distributions uses just $2n$ samples to achieve the performance attained by the empirical estimator with $n\sqrt{\log n}$ samples. This provides off-the-shelf, distribution-independent, "amplification" of the amount of data available relative to common-practice estimators. We illustrate the estimator's practical advantages by comparing it to existing estimators for a wide variety of properties and distributions. In most cases, its performance with $n$ samples is even as good as that of the empirical estimator with $n\log n$ samples, and for essentially all properties, its performance is comparable to that of the best existing estimator designed specifically for that property.

研究の動機と目的

• 離散分布の性質を推定する際のデータ効率を向上させる、1つの分布に依存しない推定手法を開発すること。
• 既存の性質推定手法を、対称的および非対称的な加法的性質に広く適用可能な1つのフレームワークに統合すること。
• 既存の推定手法と同等の性能を達成しながら、線形時間の計算量と実装の単純さを維持すること。
• 1つの推定手法が、複数の性質や分布において、特化型推定手法を上回るか同等の性能を発揮できるかどうかを実証すること。

提案手法

• 提案手法である $f^*$ は、サンプル数の分布をポisson分布でモデル化し、記号の周頻度同士の依存性を低減するデータ拡張フレームワークを用いる。
• 性能最適化のため、データに依存する2つの主要パラメータ $t$ と $s_0$ を導入し、それらを独立したデータで調整する。
• 周頻度のビンごとの感度を調整するために、$t$ の修正版を用いて係数 $h_{x,v}$ を計算し、減衰係数 $1.5^{v-1}$ を適用する。
• すべての性質に同一の推定形式を適用し、$t$ と $s_0$ の選択のみで異なるため、性質特化のチューニングなしに即時利用可能である。
• 理論的分析により、$2n$ 個のサンプルを用いた $f^*$ が、すべての分布に対して最悪ケースで $n\sqrt{\log n}$ 個のサンプルを用いた経験的推定器と同等の性能を達成することが保証されている。
• 実験的検証では、$t$ と $s_0$ の選定に別個のデータを用い、過学習を回避するとともに、PML、JVHW、WY、SGT などの最先端推定器と性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 性質特化の設計を必要とせず、多様な分布的性質にわたって競争的な性能を達成できる1つの統一的推定手法が可能か？
• RQ2 データ効率をどの程度向上できるか？特に、最悪ケースにおいて $2n$ 個のサンプルで $n\sqrt{\log n}$ 個のサンプルを用いた性能に相当するか？
• RQ3 異なる分布や性質において、統一的推定手法の性能は、特化型推定手法と比べてどの程度か？
• RQ4 事前に分布の性質を知らない状態でも、一様分布と非一様分布の両方において、強力な性能を維持できるか？

主な発見

• 提案手法 $f^*$ は、$2n$ 個のサンプルを用いることで、すべてのテスト済みの性質と分布において、$n\sqrt{\log n}$ 個のサンプルを用いた経験的推定器と同等の性能を達成した。
• ほとんどの性質と分布において、$f^*$ は $n$ 個のサンプルで、$n\log n$ 個のサンプルを用いた経験的推定器と同等の性能を示した。これは、理論的保証をはるかに超える拡張が実現されたことを示している。
• 実験では、シャノンエントロピー、正規化されたサポートサイズ、一様分布からの距離といった6つの性質において、$f^*$ は PML や WY、SGT などの最良の既存推定器を上回るか同等の性能を示した。
• 最適パラメータ $t$ と $s_0$ は、$\log^{1-\alpha}n+1$ および $c\log^{0.2}n$ の範囲内にあり、$\alpha \in [0, 0.3]$ であった。これは、実際には $n\sqrt{\log n}$ を超える拡張が達成されたことを示している。
• 正規化されたサポートカバレッジに関しては、新しい推定手法がすべての分布においてほぼ最良の性能を示し、特化型推定手法でさえも上回った。
• 一様性の異なる分布の間で性能が安定かつ一貫しており、推定手法の頑健さと普遍性が確認された。