[論文レビュー] Why the Decision Theoretic Perspective Misrepresents Frequentist Inference: 'Nuts and Bolts' vs. Learning from Data

Aris Spanos|arXiv (Cornell University)|Nov 3, 2012

Bayesian Modeling and Causal Inference参考文献 26被引用数 4

ひとこと要約

この論文は、頻度主義的推論を普遍的量化子 'すべての θ ∈ Θ について' に沿って枠組みづけることで、頻度主義的推論の本質を歪めていると主張している。これは、真のパラメータ θ∗ について学ぶことが目的であるのに対し、その枠組みはそれらの目的と矛盾する。また、損失関数と許容性—意思決定理論の中心的要素—はベイズ的推論とより整合性があるが、頻度主義的推論はむしろ真の θ∗ の存在を根拠とする事実的および仮説的推論に依存していると主張している。

ABSTRACT

The primary objective of this paper is to revisit and make a case for the merits of R.A. Fisher's objections to the decision-theoretic framing of frequentist inference. It is argued that this framing is congruent with the Bayesian but incongruent with the frequentist inference. It provides the Bayesian approach with a theory of optimal inference, but it misrepresents the theory of optimal frequentist inference by framing inferences solely in terms of the universal quantifier `for all values of theta in the parameter space'. This framing is at odds with the primary objective of model-based frequentist inference, which is to learn from data about the true value of theta (unknown parameter(s)); the one that gave rise to the particular data. The frequentist approach relies on factual (estimation, prediction), as well as hypothetical (testing) reasoning whose primary aim is to learn from data about the true theta. The paper calls into question the appropriateness of admissibility and reassesses Stein's paradox as it relates to the capacity of frequentist estimators to pinpoint the true theta. The paper also compares and contrasts loss-based errors with traditional frequentist errors, such as coverage, type I and II; the former are attached to θ, but the latter to the inference procedure itself.

研究の動機と目的

• R.A. フィッシャーが意思決定理論的枠組みが頻度主義的推論に対して整合性がないとみなした批判を再評価すること。
• 意思決定理論的アプローチがベイズ的推論と整合的である一方で、頻度主義的推論の根幹的目標とは整合しないことを示すこと。
• 頻度主義的推論は、すべての θ ∈ Θ における期待損失の最小化ではなく、真のパラメータ θ∗ についてデータから学ぶことに本質的にあると主張すること。
• 許容性とシュタインのパラドックスの頻度主義的文脈における関連性を疑問視し、一貫性と有限標本効率性をより適切な基準として強調すること。
• θ に付随する損失に基づく誤差と、伝統的な頻度主義的誤差確率（推論手順に付随する）の違いを対比すること。

提案手法

• 意思決定理論的枠組みの3つの核心的要素を分析する：統計的モデル Mθ(x)、意思決定空間 D、損失関数 L(θ, d(x))。
• 意思決定理論で用いられる普遍的量化子 ∀θ ∈ Θ と、真のパラメータに関する頻度主義的推論の根拠となる存在的量化子 ∃θ∗ ∈ Θ の対比。
• ウォルド（1939）の元々の損失関数が θ∗ に依存することを検証し、θ∗ が未知であるため実務では非実用的であることを示す。
• 伝統的な頻度主義的誤差指標（バイアス、MSE、カバレッジ、第一種・第二種の誤り）と損失に基づくリスク関数を比較し、それぞれが θ に付随するのか、推論手順自体に付随するのかの違いを強調する。
• シュタインのパラドックスを再評価し、ジェイムズ＝スタイン推定量が全体のリスクを低下させる一方で、θ∗ を的確に特定する能力を損なうことを示す。
• 許容性が頻度主義的推定量にとって関連する最小限の性質ではないと主張し、代わりに一貫性と有限標本効率性をより適切な基準として提唱する。

実験結果

リサーチクエスチョン

• RQ1 なぜ意思決定理論的枠組み、特に ∀θ ∈ Θ の使用が、頻度主義的推論の主な目的と不整合であるのか？
• RQ2 意思決定理論的アプローチが損失関数と許容性に依存することで、頻度主義的推定と検定の目的がどのように誤って表現されているのか？
• RQ3 損失に基づく誤差と、バイアス、MSE、カバレッジ、第一種・第二種の誤りといった伝統的な頻度主義的誤差確率の根本的な違いは何か？
• RQ4 シュタインのパラドックスが頻度主義的推論にとって問題であるのはなぜか？ なぜなら、θ∗ を的確に特定する能力を犠牲にして全体のリスクを低下させるからである。
• RQ5 すべての θ ∈ Θ における期待損失を基準とする推論の枠組みは、真の θ∗ についての事実的推論とはどのように異なるのか？

主な発見

• 意思決定理論的枠組みは、ベイズ的推論と同様にすべての θ ∈ Θ における期待損失を最小化するが、これは頻度主義的推論を歪めている。頻度主義的推論は真の θ∗ を学ぶことに焦点を当てる。
• 頻度主義的推論は、推定や予測に根ざす事実的推論と、仮説的推論（検定）の両方において、真の θ∗ の存在を根拠としており、普遍的量化子 ∀θ ∈ Θ とは整合しない。
• 伝統的な頻度主義的誤差指標（バイアス、MSE、カバレッジ、第一種・第二種の誤り）は推論手順自体に付随するが、損失に基づくリスクは特定の θ 値に付随する。
• リスク関数 R(θ, θ̂) は各 θ ∈ Θ に期待損失を割り当てるが、これは頻度主義的目標と不整合である。なぜなら、θ∗ を的確に標的にする能力を持つ手順が、損失の観点から罰せられるからである。
• 許容性は意思決定理論の基準として有用であるが、頻度主義的推定量にとって関連する最小限の性質ではない。なぜなら、それはデータ以外の情報に基づく損失関数に依存するからである。
• ジェイムズ＝スタイン推定量は、θ∗ を的確に特定する能力を低下させることで、全体のリスクを低下させている。これは頻度主義的推論の主な目的を損なう。