[論文レビュー] Estimating Certain Integral Probability Metric (IPM) is as Hard as Estimating under the IPM

Tengyuan Liang|arXiv (Cornell University)|Nov 2, 2019

Statistical Methods and Inference参考文献 26被引用数 11

ひとこと要約

この論文は、2つの確率測度間の積分確率距離（IPM）を推定することは、IPMのもとで測度を推定することと本質的に同程度難しいことを確立している。 Hölder滑らかさを持つ密度関数および関数族に対して、IPM推定のミニマックス最適レートは、測度推定のレートと乗法的に同等であり、対数要因を除いて同一である。これは、プラグイン推定量がこの要因を除いてミニマックス最適であることを示している。

ABSTRACT

We study the minimax optimal rates for estimating a range of Integral Probability Metrics (IPMs) between two unknown probability measures, based on $n$ independent samples from them. Curiously, we show that estimating the IPM itself between probability measures, is not significantly easier than estimating the probability measures under the IPM. We prove that the minimax optimal rates for these two problems are multiplicatively equivalent, up to a $\log \log (n)/\log (n)$ factor.

研究の動機と目的

• i.i.d.標本から2つの未知の確率測度間の積分確率距離（IPM）を推定するためのミニマックス最適レートを特定すること。
• IPM自体を推定することは、IPMのもとで定義される元の確率測度を推定することと比べて著しく簡単であるかどうかを調査すること。
• まず測度を推定し、その後IPMを計算するプラグイン推定量の最適性を評価すること。
• 密度関数および関数族にHölder滑らかさ仮定をおく条件下で、IPM推定のタイトなミニマックス下界と上界を確立すること。
• IPM推定の複雑さと、関連する確率測度およびIPMを生成する関数の滑らかさとの関係を明確にすること。

提案手法

• 論文は、上界形式 $ d_{\mathcal{F}}(\mu,\nu) = \sup_{f \in \mathcal{F}} \left| \int f d\mu - \int f d\nu \right| $ を用いてIPM推定のミニマックスリスクを分析する。ここで $ \mathcal{F} $ は滑らかさ $ \gamma < d/2 $ のHölderクラス $ \mathcal{F}_{\gamma} $ である。
• 2つの測度間の検定問題を構築し、双対性による議論でIPMと全 Variation 距離を関連させることで、IPM推定のミニマックス下界を導出する。
• 上界は、ウェーブレットに基づく平滑化された経験的測度を用いたプラグイン推定量により確立される。密度関数はレベル $ J $ で切断されたウェーブレット基底で推定され、IPMは関数族上での期待値の差の上界として計算される。
• 誤差は2つの部分に分解される：経験的測度からの推定誤差と、切断による近似誤差。両者ともウェーブレット係数の減衰性およびモーメント不等式を用いて評価される。
• 2つの誤差項をバランスさせる最適な切断レベル $ 2^{dJ} \asymp n^{1/(2\beta/d + 1)} $ が選ばれ、結果としてレート $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $ が得られる。
• 解析は、Besov空間 $ \mathsf{B}^{\gamma,\infty}_{\infty} $ およびHölder空間 $ \mathsf{C}^{\beta} $ の性質を活用し、滑らかさパrameter $ \beta $ および $ \gamma $ に基づくウェーブレット係数の境界を用いる。

実験結果

リサーチクエスチョン

• RQ1 2つの確率測度間のIPMを推定することは、IPMのもとでそれらの測度を推定することと比べて著しく簡単であるか？
• RQ2 元の密度関数がHölder空間 $ \mathcal{G}_{\beta} $ に属し、IPMがHölderクラス $ \mathcal{F}_{\gamma} $ によって生成される場合、IPM推定のミニマックス最適レートは何か？
• RQ3 非プラグイン推定量は、IPM推定においてプラグイン手法よりも速いレートを達成できるか？
• RQ4 関数族 $ \mathcal{F}_{\gamma} $ および密度族 $ \mathcal{G}_{\beta} $ の滑らかさが、IPM推定のミニマックスレートにどのように影響するか？
• RQ5 IPM推定と測度推定のミニマックスレートの正確な乗法的ギャップは何か？

主な発見

• IPM $ d_{\mathcal{F}_{\gamma}}(\mu, \nu) $ のミニマックス最適レートは $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $ であり、IPMのもとでの測度推定のレートと対数要因を除いて同一である。
• IPM推定のミニマックス下界は $ \asymp (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} \cdot \frac{\log\log(n \wedge m)}{\log(n \wedge m)} $ であり、測度推定よりも著しく簡単ではないことを示している。
• ウェーブレット平滑化された経験的測度を用いたプラグイン推定量は、上界 $ (n \wedge m)^{-(\beta + \gamma)/(2\beta + d)} $ を達成し、この $ \log\log(n)/\log(n) $ 要因を除いてミニマックス最適性が証明された。
• $ \gamma \geq d/2 $ のとき、パラメトリックレート $ n^{-1/2} $ が達成可能であり、推定困難さにおける段階的転移が示された。
• 特に $ \gamma < d/2 $ の場合、複雑な関数族であっても、プラグイン手法より速いレートを達成できる推定量は、対数要因を除いて存在しないことが示唆される。
• Hölder滑らかさを満たす広範な密度関数および関数族に対して、IPM推定と測度推定の困難さが同等であることは、統計的限界の根本的性質を示している。