[論文レビュー] On Extended Admissible Procedures and their Nonstandard Bayes Risk

Haosui Duanmu, Daniel M. Roy|arXiv (Cornell University)|Dec 29, 2016

Mathematical and Theoretical Analysis被引用数 7

ひとこと要約

この論文は、非標準解析を用いて、強い正則性条件を要しない精密な拡張可能な許容性とベイズ最適性の間の関係を確立する、非標準的なベイズ意思決定手順を導入する。標準的決定手順が拡張可能な許容性を有するのは、その非標準拡張が何らかの非標準的事前分布に関して非標準的ベイズであるとき、かつそのときに限ることを証明しており、Blythの手法の非標準的類似物と、連続なリスク関数を有するコンパクトなハウスドルフ型パラメータ空間における新しい標準的定理を提供する。

ABSTRACT

For finite parameter spaces under finite loss, every Bayes procedure derived from a prior with full support is admissible, and every admissible procedure is Bayes. This relationship already breaks down once we move to finite-dimensional Euclidean parameter spaces. Compactness and strong regularity conditions suffice to repair the relationship, but without these conditions, admissible procedures need not be Bayes. Under strong regularity conditions, admissible procedures can be shown to be the limits of Bayes procedures. Under even stricter conditions, they are generalized Bayes, i.e., they minimize the Bayes risk with respect to an improper prior. In both these cases, one must venture beyond the strict confines of Bayesian analysis. Using methods from mathematical logic and nonstandard analysis, we introduce the class of nonstandard Bayes decision procedures---namely, those whose Bayes risk with respect to some prior is within an infinitesimal of the optimal Bayes risk. Among procedures with finite risk functions, we show that a decision procedure is extended admissible if and only if its nonstandard extension is nonstandard Bayes. For problems with continuous risk functions defined on metric parameter spaces, we derive a nonstandard analogue of Blyth's method that can be used to establish the admissibility of a procedure. We also apply the nonstandard theory to derive a purely standard theorem: when risk functions are continuous on a compact Hausdorff parameter space, a procedure is extended admissible if and only if it is Bayes.

研究の動機と目的

• 有限または正則なパラメータ空間を超えて、統計的意思決定理論における許容性とベイズ最適性の間のギャップを埋めること。
• 無限次元ユークリッド型パラメータ空間における標準的ベイズ-許容性同値性の崩壊を克服すること。
• 無限小のベイズリスクを用いて、許容的手続きをベイズ手続きの極限として特徴づけることのできる非標準的枠組みを構築すること。
• 一連の標準的事前分布ではなく、単一の非標準的事前分布を用いて許容性を証明する非標準的Blythの手法の類似物を確立すること。
• コンパクトなハウスドルフ型パラメータ空間と連続なリスク関数を有する場合に、拡張可能な許容性とベイズ最適性が一致することを示す、完全に標準的な定理を導出すること。

提案手法

• 実数の非標準的モデルを構築するため、非標準解析を用い、無限小と超有限集合を含む。
• 転送原理を用いて、意思決定問題、パラメータ空間、および意思決定手続きの非標準的拡張を定義する。
• 非標準的事前分布の下で、ベイズリスクが最適ベイズリスクから無限小の内に収まる意思決定手続きとして、非標準的ベイズ手続きの概念を導入する。
• 非標準的モデルにおける超平面分離論法を用いて、拡張可能な許容的手続きを非標準的ベイズ手続きとして特徴付ける。
• ローブ測度論を用いて、超有限集合上の内部確率測度を扱い、非標準的事前分布の厳密な取り扱いを可能にする。
• 飽和性および拡張原理を用いて、有限に満たされる条件を満たす非標準的構造の存在を保証する。

実験結果

リサーチクエスチョン

• RQ1 強い正則性またはコンパクト性の仮定を必要とせず、拡張可能な許容的手続きを非標準的ベイズ手続きとして特徴づけることは可能か？
• RQ2 一連の標準的事前分布ではなく、単一の非標準的事前分布を用いて許容性を証明する非標準的Blythの手法の類似物は存在するか？
• RQ3 非標準的ベイズ最適性が標準的拡張可能な許容性を意味するのはどのような条件下か、逆にその逆も成り立つか？
• RQ4 非標準的手法を用いて、連続なリスク関数を有するコンパクトなハウスドルフ型パラメータ空間において、拡張可能な許容性とベイズ最適性の同値性を回復できるか？
• RQ5 非標準的ベイズ手続き、ベイズ手続きの極限、一般化されたベイズ手続きの間の関係は何か？

主な発見

• 標準的決定手順が拡張可能な許容性を有するのは、その非標準的拡張が何らかの非標準的事前分布に関して非標準的ベイズであるとき、かつそのときに限る。
• コンパクトなハウスドルフ型パラメータ空間における連続なリスク関数に対しては、拡張可能な許容性とベイズ最適性が同値であり、非標準解析を用いて標準的結果を回復する。
• 許容的手続きを非標準的に拡張したものは、標準的手続きの非標準的拡張の中では非標準的ベイズであるが、すべての内部意思決定手続きの中では必ずしもそうではない。
• 本論文は、Blythの手法の非標準的類似物を構築し、一連の標準的事前分布ではなく、単一の非標準的事前分布を用いて許容性を証明する。
• 非標準的ベイズ手続きが、いかなる標準的事前分布でも達成できない許容性を示すことができることを示しており、無限小の推論の強力さを強調する。
• コンパクト性と連続性の下では、拡張可能な許容的手続きを内部意思決定手続きの中で非標準的ベイズ手続きとして特徴付けることができるが、逆は一般には成り立たない。