[논문 리뷰] On Extended Admissible Procedures and their Nonstandard Bayes Risk

Haosui Duanmu, Daniel M. Roy|arXiv (Cornell University)|2016. 12. 29.

Mathematical and Theoretical Analysis인용 수 7

한 줄 요약

이 논문은 비표준 해석을 사용하여 비표준 베이즈 의사결정 절차를 도입함으로써, 강한 정규성 조건이 필요 없이 확장된 적합성과 베이즈 최적성 사이의 정밀한 연결을 수립한다. 표준 의사결정 절차가 확장된 적합성일 필요충분조건으로 그 비표준 확장이 어떤 비표준 사전 분포에 대해 비표준 베이즈임을 증명하며, 이는 블리스의 방법에 대한 비표준 대응체이자, 연속적인 위험 함수를 갖는 컴팩트 하우스도르프 매개변수 공간에 대해 새로운 표준 정리이다.

ABSTRACT

For finite parameter spaces under finite loss, every Bayes procedure derived from a prior with full support is admissible, and every admissible procedure is Bayes. This relationship already breaks down once we move to finite-dimensional Euclidean parameter spaces. Compactness and strong regularity conditions suffice to repair the relationship, but without these conditions, admissible procedures need not be Bayes. Under strong regularity conditions, admissible procedures can be shown to be the limits of Bayes procedures. Under even stricter conditions, they are generalized Bayes, i.e., they minimize the Bayes risk with respect to an improper prior. In both these cases, one must venture beyond the strict confines of Bayesian analysis. Using methods from mathematical logic and nonstandard analysis, we introduce the class of nonstandard Bayes decision procedures---namely, those whose Bayes risk with respect to some prior is within an infinitesimal of the optimal Bayes risk. Among procedures with finite risk functions, we show that a decision procedure is extended admissible if and only if its nonstandard extension is nonstandard Bayes. For problems with continuous risk functions defined on metric parameter spaces, we derive a nonstandard analogue of Blyth's method that can be used to establish the admissibility of a procedure. We also apply the nonstandard theory to derive a purely standard theorem: when risk functions are continuous on a compact Hausdorff parameter space, a procedure is extended admissible if and only if it is Bayes.

연구 동기 및 목표

• 유한하거나 정규 매개변수 공간을 초월하여 통계적 의사결정 이론에서 적합성과 베이즈 최적성 사이의 격차를 메우기 위해.
• 무한차원 유클리드 매개변수 공간에서 표준 베이즈-적합성 등가성의 붕괴를 극복하기 위해.
• 무한소 베이즈 위험을 통한 베이즈 절차의 극한으로서 적합 절차를 특성화할 수 있는 비표준 프레임워크를 개발하기 위해.
• 일련의 표준 사전 분포가 아닌 단일 비표준 사전 분포를 사용하여 적합성을 증명하는 비표준 블리스의 방법의 비표준 대응체를 수립하기 위해.
• 연속적인 위험 함수를 갖는 컴팩트 하우스도르프 매개변수 공간에서, 확장된 적합성과 베이즈 최적성이 일치함을 보여주는 순수 표준 정리 유도하기 위해.

제안 방법

• 실수의 비표준 모델을 구성하기 위해 비표준 해석을 사용하며, 이는 무한소와 초유한 집합을 포함한다.
• 전이 원리를 사용하여 의사결정 문제, 매개변수 공간, 의사결정 절차의 비표준 확장을 정의한다.
• 비표준 사전 분포 하에서의 최적 베이즈 위험과의 차이가 무한소 이내인 절차를 비표준 베이즈 절차로 정의한다.
• 비표준 모델에서 초평면 분리 원리를 적용하여, 확장된 적합 절차를 비표준 베이즈 절차로 특성화한다.
• 로브 측도 이론을 사용하여 초유한 집합 위의 내부 확률 측도를 다루어 비표준 사전 분포의 엄밀한 처리를 가능하게 한다.
• 포화 및 확장 원리를 적용하여 유한히 만족 가능한 조건을 만족하는 비표준 구조의 존재를 보장한다.

실험 결과

연구 질문

• RQ1 강한 정규성 또는 컴팩트성 가정 없이도 확장된 적합 절차를 비표준 베이즈 절차로 특성화할 수 있는가?
• RQ2 일련의 표준 사전 분포가 아닌 단일 비표준 사전 분포를 사용하여 적합성을 증명하는 비표준 블리스의 방법의 비표준 대응체가 존재하는가?
• RQ3 비표준 베이즈 최적성이 표준 확장된 적합성으로 이르는 조건은 무엇이며, 그 반대의 경우는?
• RQ4 연속적인 위험 함수를 갖는 컴팩트 하우스도르프 매개변수 공간에서 비표준 방법을 사용하여 확장된 적합성과 베이즈 최적성의 등가성을 회복할 수 있는가?
• RQ5 비표준 베이즈 절차, 베이즈 절차의 극한, 일반화된 베이즈 절차 사이의 관계는 무엇인가?

주요 결과

• 표준 의사결정 절차가 확장된 적합성일 필요충분조건으로 그 비표준 확장이 어떤 비표준 사전 분포에 대해 비표준 베이즈임이 증명된다.
• 연속적인 위험 함수를 갖는 컴팩트 하우스도르프 매개변수 공간에서, 확장된 적합성과 베이즈 최적성이 등가임을 보이며, 비표준 해석을 통해 기존 표준 결과를 복원한다.
• 적합 절차의 비표준 확장은 표준 절차의 비표준 확장들 사이에서는 비표준 베이즈이지만, 모든 내부 의사결정 절차 중에서는 반드시 그렇지는 않다.
• 논문은 블리스의 방법의 비표준 대응체를 구성하여, 일련의 표준 사전 분포가 아닌 단일 비표준 사전 분포를 사용하여 적합성을 증명한다.
• 비표준 베이즈 절차가 어떤 표준 사전 분포로도 동일한 결과를 달성하지 못할 때조차도 적합성을 나타낼 수 있음을 보이며, 무한소 추론의 힘을 드러낸다.
• 논문은 컴팩트성과 연속성 하에서 내부 의사결정 절차 중에서 확장된 적합 절차가 비표준 베이즈임을 보이며, 반대로 일반적으로는 그 역이 성립하지 않을 수 있음을 보여준다.