[論文レビュー] Profile Entropy: A Fundamental Measure for the Learnability and Compressibility of Discrete Distributions

Hao Yi, Alon Orlitsky|arXiv (Cornell University)|Feb 26, 2020

Diffusion and Search Dynamics参考文献 53被引用数 4

ひとこと要約

本稿では、離散分布における推定、推論、圧縮を統合する基本的指標として、プロファイルエントロピーを導入する。プロファイルエントロピーが分布の学習可能性と圧縮可能性を決定づけることが示され、最適なアルゴリズムが、最良の推定器および圧縮器と同等の性能を達成できることを示している。これらの性能保証は、データの内在的複雑性を捉えたプロファイルエントロピーに基づく、適応的かつ柔軟な手法である。

ABSTRACT

The profile of a sample is the multiset of its symbol frequencies. We show that for samples of discrete distributions, profile entropy is a fundamental measure unifying the concepts of estimation, inference, and compression. Specifically, profile entropy a) determines the speed of estimating the distribution relative to the best natural estimator; b) characterizes the rate of inferring all symmetric properties compared with the best estimator over any label-invariant distribution collection; c) serves as the limit of profile compression, for which we derive optimal near-linear-time block and sequential algorithms. To further our understanding of profile entropy, we investigate its attributes, provide algorithms for approximating its value, and determine its magnitude for numerous structural distribution families.

研究の動機と目的

• 推定、推論、圧縮のための離散分布の内在的複雑性を捉える基本的指標を同定すること。
• 単一の理論的枠組みの下で、分布推定、対称的性質の推論、プロファイル圧縮の概念を統合すること。
• 性能保証がプロファイルエントロピーに直接依存する適応的アルゴリズムを開発し、最良の推定器および圧縮器とほぼ同等の性能を達成すること。
• 対数凹型、パワー則、ヒストグラム分布などの構造的族におけるプロファイルエントロピーの大きさを特定すること。
• ブロックおよび逐次的な両方の形式で、近似線形時間の最適なプロファイル圧縮アルゴリズムを設計すること。

提案手法

• 本稿では、標本のプロファイルをシンボル頻度の多重集合として定義し、その多重集合のシャノンエントロピーとしてプロファイルエントロピーを導入する。
• プロファイル分布の解析を簡素化するため、ポアソンサンプリングを用い、プロファイル次元およびエントロピーの濃度バインディングを導出する。
• プロファイルエントロピーの大きさをより鋭く分析可能にするために、簡略化された代理指標 $ H^{ ext{S}}_n(p) $ が導入され、その近似が可能になる。
• 確率論の道具を用いて理論的保証を導出し、中央値のテクニックや高次元における離散楕円体の体積の境界を用いる。
• ブロックおよび逐次的変種を含む、プロファイルに基づく符号化方式を用いて、最適な圧縮アルゴリズムを構築し、近似的に最適な圧縮レートを達成する。
• PML（プロファイル最大尤度）および順序付き分布推定を活用し、プロファイルエントロピーと対称的性質推定および一様性検定を結びつける。

実験結果

リサーチクエスチョン

• RQ1 プロファイルエントロピーは、最良の自然推定器に対する分布推定の速度にどのように関係するか？
• RQ2 離散分布の対称的性質はどの程度効率的に推定可能か？また、プロファイルエントロピーはその推定速度をどのように特徴づけるか？
• RQ3 プロファイル圧縮の根本的限界は何か？また、その限界に到達する最適なアルゴリズムを設計可能か？
• RQ4 対数凹型、パワー則、ヒストグラム分布などの構造的分布族において、プロファイルエントロピーはどのように振る舞うか？
• RQ5 プロファイルエントロピーは効率的に近似可能か？また、その濃度特性はどのようなものか？

主な発見

• プロファイルエントロピーは、分布推定における競合比を決定づける。アルゴリズムは、最良の推定器と比較して定数倍の性能を達成でき、その保証はプロファイルエントロピーに依存する。
• プロファイルエントロピーは、対称的性質の推定速度を特徴づけ、最適な推定器は、任意の分布集合に対して、ラベル不変推定器の最良のものと同等の性能を達成する。
• プロファイル圧縮は、プロファイルエントロピーによって根本的に制限される。本稿では、その限界に到達する近似的に線形時間のブロックおよび逐次的圧縮アルゴリズムを提示する。
• 対数凹型およびパワー則分布では、プロファイルエントロピーは $ O(\log n) $ で有界であり、低次元の内在的複雑性と効率的な学習可能性を示す。
• 代理指標 $ H^{ ext{S}}_n(p) $ は、期待プロファイルエントロピーのほぼタイトな近似を提供し、分布族全体にわたるその大きさの精密な特徴づけを可能にする。
• 多次元離散ガウス分布では、プロファイルエントロピーは $ \mathcal{O}(\log n) \left(1 + \min\left\{ \frac{n}{C}, \gamma_d (\alpha_\Sigma \cdot \beta_{d,n})^d C \right\} \right) $ で有界であり、ここで $ C $ は分布のサポートに関連する正規化定数である。