[論文レビュー] Unbiased Test Error Estimation in the Poisson Means Problem via Coupled Bootstrap Techniques

Natalia L. Oliveira, Lei Jing+1 more|arXiv (Cornell University)|Dec 4, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、ポアソン平均問題における不偏テスト誤差推定のためのカップルドブートストラップ（CB）手法を提案する。合成された二項ノイズを用いて、ペairedなトレーニングおよびテストデータベクトルを生成する。真の平均が要因 (1−p) で縮小されている場合、CB推定量はテスト誤差に対して不偏である。また、p→0 の極限において、滑らかさや構造的仮定を必要としない既知の不偏推定量に漸近的に回復する。

ABSTRACT

We propose a coupled bootstrap (CB) method for the test error of an arbitrary algorithm that estimates the mean in a Poisson sequence, often called the Poisson means problem. The idea behind our method is to generate two carefully-designed data vectors from the original data vector, by using synthetic binomial noise. One such vector acts as the training sample and the second acts as the test sample. To stabilize the test error estimate, we average this over multiple bootstrap B of the synthetic noise. A key property of the CB estimator is that it is unbiased for the test error in a Poisson problem where the original mean has been shrunken by a small factor, driven by the success probability $p$ in the binomial noise. Further, in the limit as $B o \infty$ and $p o 0$, we show that the CB estimator recovers a known unbiased estimator for test error based on Hudson's lemma, under no assumptions on the given algorithm for estimating the mean (in particular, no smoothness assumptions). Our methodology applies to two central loss functions that can be used to define test error: Poisson deviance and squared loss. Via a bias-variance decomposition, for each loss function, we analyze the effects of the binomial success probability and the number of bootstrap samples and on the accuracy of the estimator. We also investigate our method empirically across a variety of settings, using simulated as well as real data.

研究の動機と目的

• 推定アルゴリズムに関する滑らかさや構造的仮定を必要とせず、ポアソン平均問題における不偏テスト誤差推定器を開発すること。
• n+1回のアルゴリズム実行を要する既存の不偏推定量（例えば、ハクソンの補題に基づくもの）の代替として、安定で低分散な代替手法を提供すること。
• 離散的・カウントベースのモデルにおけるポアソンデバイアス損失や二乗損失といった損失関数への不偏推定の適用範囲を拡張すること。
• 異なるアルゴリズム間のテスト誤差差の不偏推定を保証することで、信頼性の高いモデル比較およびチューニングを可能にすること。
• ガウスモデルに限らないブートストラップベースの誤差推定を、二項ノイズを用いた新規のデータ分割機構によりポアソン設定に一般化すること。

提案手法

• 元のデータ $Y$ から二項スプライシングを用いて2つの独立なデータベクトル $Y^*$ と $Y^\flat$ を生成する：$Y^* \triangleq \mathrm{Bin}(Y, p)$, $Y^\flat \triangleq Y - Y^*$ とし、$\mathbb{E}[Y^*] = \mathbb{E}[Y^\flat] = (1-p)\mu$ を満たす。
• $Y^*$ をトレーニングサンプル、$Y^\flat$ をテストサンプルとして用い、アルゴリズムの予測 $\hat{\mu} = g(Y^*)$ を計算し、損失 $L(Y^\flat, g(Y^*))$ を評価する。
• 独立な二項ノイズの抽出を $B$ 回繰り返し、損失の平均をとることでカップルドブートストラップ推定量 $\widehat{\mathrm{Err}}_{\mathrm{CB}}(g)$ を構築する。
• 推定量の不偏性を示すために、$\mathbb{E}[\widehat{\mathrm{Err}}_{\mathrm{CB}}(g)] = \mathrm{Err}_p(g)$ を証明する。ここで $\mathrm{Err}_p(g)$ は真の平均が $\mu_p = (1-p)\mu$ のときの $g$ のテスト誤差を表す。
• p → 0 の極限において、CB推定量がハクソンの補題から導かれる古典的不偏推定量に収束することを示し、これは $g$ に関する仮定を一切必要としない。
• p と $B$ を用いて推定量の平均二乗誤差を分解し、バイアス-バリアンストレードオフを分析することで、$g$ が不安定な場合に標準的不偏推定量よりも安定性が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかさや推定アルゴリズムの構造的仮定を仮定しない条件下で、ポアソン平均問題におけるテスト誤差推定にブートストラップベースの手法を構築できるか？
• RQ2 二項ノイズのパラメータ $p$ の選択が、カップルドブートストラップ推定量のバイアスおよびバリアンスにどのように影響するか？
• RQ3 特に不安定なアルゴリズムにおいて、古典的不偏推定量（n+1回の実行を要する）と比較して、カップルドブートストラップ推定量がより低い分散を達成するか？
• RQ4 p → 0 の極限において、カップルドブートストラップ推定量が既知の不偏推定量にどの程度回復するか？
• RQ5 デバイアス損失や二乗損失を用いた場合、ポアソン回帰や密度推定において、モデル選択およびチューニングにこの手法を効果的に適用できるか？

主な発見

• カップルドブートストラップ推定量は、真の平均が要因 $1-p$ で縮小されている場合、アルゴリズム $g$ に依存せず、テスト誤差に対して正確に不偏である。
• p → 0 の極限において、ハクソンの補題から導かれる古典的不偏推定量に収束する。これは、$g$ に関する仮定を一切必要としないことが知られている。
• 古典的不偏推定量が $n+1$ 回のアルゴリズム実行を要するのに対し、本手法は $B$ 回の実行で十分であり、計算上の顕著な利点を有する。
• 実験的結果から、特にアルゴリズム $g$ が不安定な場合、カップルドブートストラップ推定量は古典的不偏推定量よりも低い分散を示すことが多く、実用的である。
• スロースの目撃データを用いた密度推定タスクにおいて、CBで推定したデバイアス損失を最小化すると、CBで推定した二乗損失を最小化した場合よりも、より現実的で滑らかな密度推定が得られた。
• デバイアス損失を用いた場合、CB推定量を用いたモデル選択は、より正則化されたチューニングパラメータを的確に特定でき、二乗損失を用いた場合よりもドメインの期待と整合性が高かった。