[論文レビュー] Unbiased estimators for the variance of MMD estimators

Danica J. Sutherland, Deka, Namrata|arXiv (Cornell University)|Jun 5, 2019

Statistical Methods and Inference参考文献 5被引用数 4

ひとこと要約

本稿では、U統計量理論を活用して、従来のバイアスのある手法を是正することで、最大平均差分（MMD）推定量の分散に対するバイアスのない推定量を提示する。二乗MMDおよび二つの相関のある二乗MMDの差に対する、計算量的に効率的で真にバイアスのない分散推定量を導出しており、元のMMD計算に追加コストを一切かけずに実現可能である。

ABSTRACT

The maximum mean discrepancy (MMD) is a kernel-based distance between probability distributions useful in many applications (Gretton et al. 2012), bearing a simple estimator with pleasing computational and statistical properties. Being able to efficiently estimate the variance of this estimator is very helpful to various problems in two-sample testing. Towards this end, Bounliphone et al. (2016) used the theory of U-statistics to derive estimators for the variance of an MMD estimator, and differences between two such estimators. Their estimator, however, drops lower-order terms, and is unnecessarily biased. We show in this note - extending and correcting work of Sutherland et al. (2017) - that we can find a truly unbiased estimator for the actual variance of both the squared MMD estimator and the difference of two correlated squared MMD estimators, at essentially no additional computational cost.

研究の動機と目的

• MMD推定量の真正なバイアスのない分散推定量の欠如に取り組むこと。これは、信頼性の高い二標本適合度検定に不可欠である。
• 特に小標本サイズにおいて深刻な問題となる、低次の項を無視する従来の推定量に内在するバイアスを是正すること。
• U統計量理論を用いて、[7]の先行研究を拡張・是正し、RKHS内積の期待値として表現された正確な分散式を導出すること。
• 元のMMD推定量と同程度のO(m²)の計算量で実現可能であり、バイアスのない計算効率の良い分散推定量を提供すること。
• バイアスのない推定量と実用的性能のトレードオフを明確にすること。実際の応用では、しばしばバイアスのある推定量が低い分散により優れることがあることにも言及する。

提案手法

• U統計量理論を用いて、バイアスのないMMD推定量の分散を導出し、それをRKHS内積の期待値の形で表現する。
• 分散の成分をコンactな演算子形式で表現するために、非中心化共分散作用素を導入する。
• カーネル行列を用いて母集団の期待値を標本の対応物に置き換えることで、分散成分のバイアスのない推定量を構築する。
• 三つの分布を比較する状況で有用な、二つのMMDの差の分散推定量について、明示的な閉形式式を導出する。
• 対称カーネル行列とベクトル化された演算（例：1ノルム、フロベニウスノルム、行列-ベクトル積）を用いることで、O(m²)の計算量を保証する。
• 理論的導出を通じて、最終的な推定量のバイアスのなさを検証し、一貫性があり、系統的な誤差がないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 低次の項を無視しない真にバイアスのない推定量を、二乗MMD推定量の分散について導出可能か？
• RQ2 二つの相関のある二乗MMD推定量の差の分散推定量を、三標本適合度検定に有用な形で拡張可能か？
• RQ3 バイアスのない分散推定量を実現するための計算コストは、従来のバイアスのある推定量と比べてどの程度か？
• RQ4 実際の応用において、バイアスのない分散推定量は、バイアスのある代替手法を上回る性能を示すか、それとも有限標本における性能のトレードオフがあるか？
• RQ5 標本サイズmとnが不等である場合にも、理論的枠組みを一般化可能か？

主な発見

• 本稿では、低次の項を無視する従来のバイアスのある近似を是正し、二乗MMD推定量の分散に対する完全にバイアスのない推定量を導出した。
• 二つのMMDの差に対する提案された推定量は、バイアスがなく、O(m²)の時間計算量で計算可能であり、元のMMD推定量と同等の計算量である。
• 最終的な分散推定量（式6）は、すべてカーネル行列およびその演算（例：フロベニウスノルム、行列積の1ノルム、トレースに類似した項）で表現されている。
• 真にバイアスのないものの、実際の応用では、より単純なバイアスのある推定量（例：[4]からのもの）が、低い分散により優れることがある。これは[2]の実験でも確認されている。
• 標本サイズmとnが不等である場合にも一般化可能であり、従来の研究が等しいまたは対称的な標本を仮定していたのを改善している。
• 導出結果から、低次の項を省略することで生じるバイアスを回避でき、特に小標本では精度に顕著な影響を与えることが確認された。