[论文解读] Symmetric loss functions in restricted parameter spaces

Pavel Mozgunov, Thomas Jaki+1 more|arXiv (Cornell University)|Jun 7, 2017

Statistical Methods and Bayesian Inference被引用 1

一句话总结

本文提出了一类针对受限参数空间（如正实数轴或有界区间）的对称、边界膨胀损失函数，作为平方误差损失的更保守替代方案。该方法将平方误差损失推广至对边界估计施加更严重惩罚的情形，推导出显式贝叶斯估计量，并在四个经典贝叶斯问题中展示了改进的推断性能。

ABSTRACT

Squared error loss remains the most commonly used loss function for constructing a Bayes estimator of the parameter of interest. However, it can lead to sub-optimal solutions when a parameter is defined in a restricted space. It can also be an inappropriate choice in the context when an extreme overestimation and/or underestimation results in severe consequences and a more conservative estimator is preferred. We advocate a class of loss functions for parameters defined on restricted spaces which infinitely penalize boundary decisions like the squared error loss does on the real line. We also recall several properties of loss functions such as symmetry, convexity, and invariance. We propose generalizations of the squared error loss function for parameters defined on the positive real line and on an interval. We provide explicit solutions for corresponding Bayes estimators and discuss multivariate extensions. {Four} well-known Bayesian estimation problems are used to demonstrate inferential benefits the novel Bayes estimators can provide in the context of restricted estimation.

研究动机与目标

• 解决当参数被约束在受限空间时，基于平方误差损失的次优贝叶斯估计量问题。
• 开发对边界决策施加更严重惩罚的损失函数，类似于实轴上的平方误差损失。
• 将平方误差损失推广至正实数和区间值参数，同时保持对称性和凸性。
• 在新损失函数下推导显式贝叶斯估计量，并评估其推断优势。
• 在知名贝叶斯估计问题中展示所提估计量的实际优势。

提出的方法

• 提出一类在受限参数空间边界施加无穷大惩罚的对称凸损失函数。
• 通过基于变换的方法，将平方误差损失推广至正实数轴上的参数。
• 通过构造在尺度和位置变换下不变的损失函数，将该框架扩展至有界区间。
• 利用共轭先验和后验期望，推导新损失函数下的闭式贝叶斯估计量。
• 通过将损失结构扩展至向量值参数，将该方法应用于多变量情形。
• 通过四个经典贝叶斯问题验证该方法，与标准平方误差损失进行性能比较。

实验结果

研究问题

• RQ1 如何重新定义损失函数，以更好地处理被约束在受限空间（如正实数轴或有界区间）的参数？
• RQ2 损失函数应具备哪些性质（如对称性、凸性、不变性）以确保稳健且保守的估计？
• RQ3 与平方误差损失相比，所提出的损失函数在受限参数设定下如何改进贝叶斯估计量？
• RQ4 在新损失函数下，所得贝叶斯估计量的显式形式是什么？
• RQ5 在哪些推断情境中，新估计量相比经典方法展现出切实优势？

主要发现

• 所提出的损失函数在参数边界处施加无穷大惩罚，其行为类似于实轴上的平方误差损失。
• 通过共轭先验，为正实数和区间参数推导出显式贝叶斯估计量的闭式解。
• 新估计量表现出更高的稳健性和保守性，减少了极端的过度估计或低估。
• 在所有四个经典贝叶斯问题中，所提估计量均较基于平方误差损失的估计量产生更可靠、更稳定的推断结果。
• 多变量扩展保持了对称性和不变性，使得在高维受限参数空间中实现一致估计成为可能。
• 通过在既定估计问题中的对比分析，实证验证了新估计量的推断优势。