[论文解读] Distribution Estimation with Side Information

Haricharan Balasundaram, Thangaraj, Andrew|arXiv (Cornell University)|Jan 13, 2026

Topic Modeling被引用 0

一句话总结

论文介绍了两个离散分布估计的侧信息模型，适用于独立同分布样本：一个围绕 Guess 分布的局部邻域模型和一个部分排序模型，给出理论风险界并展示了经验增益。

ABSTRACT

We consider the classical problem of discrete distribution estimation using i.i.d. samples in a novel scenario where additional side information is available on the distribution. In large alphabet datasets such as text corpora, such side information arises naturally through word semantics/similarities that can be inferred by closeness of vector word embeddings, for instance. We consider two specific models for side information--a local model where the unknown distribution is in the neighborhood of a known distribution, and a partial ordering model where the alphabet is partitioned into known higher and lower probability sets. In both models, we theoretically characterize the improvement in a suitable squared-error risk because of the available side information. Simulations over natural language and synthetic data illustrate these gains.

研究动机与目标

• 在字母表规模很大且自然存在侧信息（如词语语义）时，激发分布估计的研究。
• 提出两种侧信息模型：围绕猜测分布的局部 ell2-球模型和两集合部分排序模型。
• 在这两种模型下推导上界与下界的极小极大风险。
• 提出利用侧信息的估计量，并将其与经验基线进行比较。
• 通过自然语言与合成数据的仿真实验验证理论结果。

提出的方法

• 模型1（局部信息）：假设真实分布位于已知猜测 pi^(0) 的一个 ell2-球内；在经验分布和 pi^(0) 之间提出一个插值（收缩）估计量并对其风险进行界定。
• 利用 Le Cam 方法和插值估计量推导局部信息模型的极小极大下界和上界。
• 模型2（部分排序）：将字母表划分为低概率集合和高概率集合，对于观测到 l 次的符号，使用一个两层的类 Good-Turing 式估计量，并对 A、B 给出各自的质量。
• 给出一个代数分解，显示两层估计可能带来的增益，并给出估计量超额风险的界限。
• 给出一个两层 Good-Turing 估计量，并给出 hat_pi^(l,A) 与 hat_pi^(l,B) 的公式，分析估计误差项。
• 在文本数据（双字母转移）和合成分布上进行仿真，以展示侧信息带来的增益。

Figure 1: Estimation errors vs. number of samples for the Empirical and Interpolation Estimators for $\pi^{(0)}$ from ‘dataset’ and ‘sample’. All error bars are for $10$ independent repetitions.

实验结果

研究问题

• RQ1 在独立同分布采样下，侧信息如何影响离散分布估计的极小极大风险？
• RQ2 局部（ell2-ball）侧信息模型对估计精度的优劣与局限性是什么？
• RQ3 利用部分排序的两层估计量在某些条件下是否能优于单层方法（如 Good-Turing）？
• RQ4 能够刻画由侧信息带来的风险改善的理论界限（上界/下界）是什么？
• RQ5 在自然语言数据上的经验结果是否验证了引入侧信息带来的理论改进？

主要发现

• 一个在经验分布和 pi^(0) 之间的插值估计量实现了改进的风险界，风险被界定为 min(Delta^2, (1 - ||pi^(0)|| - Delta)^2 / n)。
• 极小极大下界在某些区间显示出比经典的 1/n 界更优的速率，包括 pi^(0) 为确定性或均匀分布的情况。
• 利用已知 A/B 划分的两层估计量在 A 与 B 概率之间存在足够分离时，可以降低对观测计数为 l 的符号的估计误差。
• 当侧信息分区具有信息性时，Good-Turing 风格的两层估计减少了与缺失质量相关的误差项。
• 在语言数据上的仿真表明，对于样本量较小的情况，插值估计量优于经验估计量；当侧信息有效时增益仍然存在（Delta 调参很关键）。
• 结果表明，在语言样本及其他结构化字母表的数据上，侧信息在分布估计中可以优于传统方法。

Figure 2: Estimation errors vs Delta.