[論文レビュー] Estimating the Maximum Expected Value: An Analysis of (Nested) Cross Validation and the Maximum Sample Average

Hado van Hasselt|arXiv (Cornell University)|Feb 28, 2013

Statistical Methods and Inference参考文献 20被引用数 19

ひとこと要約

本稿では、確率的変数の最大期待値を推定するための一般的な2つの推定量、最大標本平均（ME）と交差検証（CV）、特にネストドCVを対象に、バイアスと分散の特性を分析する。不偏推定量が存在しないことを証明し、MEは系統的な上昇バイアスを示し、CVは大きな負のバイアスを示す可能性があることを示し、推定量の性能が母集団分布に強く依存することを示している。これは一般化されたルールが有効でないことを意味する。

ABSTRACT

We investigate the accuracy of the two most common estimators for the maximum expected value of a general set of random variables: a generalization of the maximum sample average, and cross validation. No unbiased estimator exists and we show that it is non-trivial to select a good estimator without knowledge about the distributions of the random variables. We investigate and bound the bias and variance of the aforementioned estimators and prove consistency. The variance of cross validation can be significantly reduced, but not without risking a large bias. The bias and variance of different variants of cross validation are shown to be very problem-dependent, and a wrong choice can lead to very inaccurate estimates.

研究の動機と目的

• 確率的変数の最大期待値を推定するための最大標本平均（ME）および交差検証（CV）の精度を調査すること。
• MEおよびCV推定量のバイアスと分散に対する分布に依存しない境界を確立すること。
• 最大期待値に対する不偏推定量が存在しないことを示し、母集団分布の事前知識がなければ良い推定量の選択が非自明であることを示すこと。
• 特にネストドCVを含む、CVのさまざまな変種におけるバイアスと分散のトレードオフを評価し、性能が問題に強く依存することを示すこと。
• 標準的な10分割交差検証がしばしば妥当であるが、万能ではない理論的根拠を提示し、特定の条件下で優れた性質を示す新しいCV変種を導入すること。

提案手法

• ベースラインとして、各確率的変数の標本平均の最大値として定義される一般化された最大標本平均推定量を提案する。
• 代替推定量として、各個々の平均を推定するためにCVを適用するネストド交差検証（CV）を分析する。
• Efron-Steinの不等式による分散の境界と、Cantelliの不等式によるバイアスの境界を含む、確率的不等式を用いてMEおよびCVの理論的境界を導出する。
• フォールド内での選択頻度に基づいて推定値に重みを付ける新しいCV変種を導入し、バイアスを低減するとともに分散を制御することを目的とする。
• 数学的証明により、CVのバイアスが非正（保守的）であることを示し、MEとは異なり、厳密に正のバイアスを示すことを証明する。
• 全期待値の法則および条件付き期待値を用いて、最大推定量の期待値の境界を導出し、一貫性およびバイアス特性を証明する。

実験結果

リサーチクエスチョン

• RQ1 最大期待値の推定における最大標本平均推定量のバイアスと分散の性質は何か？
• RQ2 ネストド交差検証は、最大標本平均と比較してバイアスと分散の点でどのように異なるか。また、系統的なバイアスが小さくなる可能性はあるか？
• RQ3 一般的なルール（例：10分割CV）をすべての設定に適用できるか。それとも推定量の性能は母集団分布に強く依存するか？
• RQ4 さまざまなCV変種のバイアスと分散の理論的境界は何か。それらはフォールド数や標本サイズにどのように依存するか？
• RQ5 最大標本平均より期待二乗誤差が理論的に低くなるようなCVベースの推定量を構築する方法はあるか。どのような条件下で成立するか？

主な発見

• 確率的変数の集合の最大期待値に対する不偏推定量は存在しない。これは推定量選択が本質的に困難であることを意味する。
• 最大標本平均推定量は厳密に正のバイアスを示し、真の平均が近く、分散が大きい場合にバイアスが増大する。
• 交差検証、特にネストドCVは非正のバイアス（保守的）を示す。これは、高い分散を伴うが、実用上は有用である可能性がある。
• 提案された重み付きCV変種を用いることで、交差検証の分散を顕著に低減できるが、適切に調整しないとバイアスが増加する可能性がある。
• CV推定量のバイアスと分散は母集団分布に強く依存する。10分割CVを常に使用するという一様なアプローチは最適ではない。
• 実験的結果から、ネストドCVは一部の状況（例：真の誤差50％ vs. 推定値54.2％）では真の最大値を最大4.2％まで過大に推定することが判明し、CVに以前軽視されてきた一般的なバイアスが存在することを示している。