[論文レビュー] Distribution Estimation with Side Information

Haricharan Balasundaram, Thangaraj, Andrew|arXiv (Cornell University)|Jan 13, 2026

Topic Modeling被引用数 0

ひとこと要約

論文は、i.i.d. サンプルを用いた離散分布推定のための副情報の2つのモデル（推定分布を中心とする局所近傍モデルと部分順序モデル）を提案し、理論的リスク境界を提供し、経験的な向上を示す。

ABSTRACT

We consider the classical problem of discrete distribution estimation using i.i.d. samples in a novel scenario where additional side information is available on the distribution. In large alphabet datasets such as text corpora, such side information arises naturally through word semantics/similarities that can be inferred by closeness of vector word embeddings, for instance. We consider two specific models for side information--a local model where the unknown distribution is in the neighborhood of a known distribution, and a partial ordering model where the alphabet is partitioned into known higher and lower probability sets. In both models, we theoretically characterize the improvement in a suitable squared-error risk because of the available side information. Simulations over natural language and synthetic data illustrate these gains.

研究の動機と目的

• 副情報（例: 単語の意味論）が自然に利用可能な大規模アルファベットでの分布推定を動機づける。
• 局所的な ell2-ball モデル（推定分布の周囲）と二集合の部分順序モデルの2つの副情報モデルを開発する。
• 2つのモデル下でのミニマックス上界と下界を導出する。
• 副情報を活用する推定量を提案し、経験的ベースラインと比較する。
• 自然言語データと合成データのシミュレーションで理論結果を検証する。

提案手法

• モデル1（局所情報）: 真の分布が既知の推定 pi^(0) の周囲の ell2-ball にあると仮定し、経験分布と pi^(0) の間の内挿（収縮）推定量を開発し、リスクを境界づける。
• 局所情報モデルについて Le Cam の手法と内挿推定量を用いてミニマックスの下界および上界を導出する。
• モデル2（部分順序）: アルファベットを低確率と高確率の集合に分割し、観測回数 l のシンボルに対して二段階の Good-Turing 風推定量を用い、AとBに別々の質量を割り当てる。
• 二段階推定の潜在的な利得を代数的分解で示し、推定量の過剰リスクの境界を与える。
• hat_pi^(l,A) および hat_pi^(l,B) の式を含む二段階 Good-Turing 推定量を提示し、推定誤差項を解析する。
• 副情報による利得を示すため、テキストデータ（ビグラム遷移）と合成分布でのシミュレーションを実施する。

Figure 1: Estimation errors vs. number of samples for the Empirical and Interpolation Estimators for $\pi^{(0)}$ from ‘dataset’ and ‘sample’. All error bars are for $10$ independent repetitions.

実験結果

リサーチクエスチョン

• RQ1 i.i.d. サンプリング下で副情報が離散分布推定のミニマックスリスクにどのような影響を与えるか？
• RQ2 推定精度の面から局所的な ell2-ball 副情報モデルの利点と限界は何か？
• RQ3 部分順序を活用する二段階推定量は、特定の条件下で Good-Turing のような一段階手法を上回ることができるか？
• RQ4 副情報によって生じるリスクの改善を特徴づける理論的境界（上界/下界）は何か？
• RQ5 自然言語データでの経験的結果は、副情報の組み込みによる理論的改善を裏付けるか？

主な発見

• 経験分布と pi^(0) の間の内挿推定量は改善されたリスク境界を達成し、リスクは min(Delta^2, (1 - ||pi^(0)|| - Delta)^2 / n) に境界付けられる。
• ミニマックスの下界は、従来の 1/n 境界よりも改善されたレートを示し、pi^(0) が決定論的または一様分布の場合を含む。
• 既知の A/B 部分割を利用する二段階推定が、観測回数 l のシンボルの推定誤差を低減できる可能性がある。
• 副情報の分割が有意なとき、欠損質量に関連する誤差項を減らす Good-Turing 型の二段階推定は誤差を減らす。
• 言語データのシミュレーションは、小さなサンプルサイズで内挿推定量が経験推定量よりも良く、副情報が有効な場合（Delta の調整が重要）には利得が持続することを示す。
• 副情報を用いた分布推定は、言語様のデータや他の構造化されたアルファベットで従来法を上回る可能性を示唆する。

Figure 2: Estimation errors vs Delta.