[论文解读] Interpretable hypothesis tests

Victor Coscrato, Luís Gustavo Esteves+2 more|arXiv (Cornell University)|Apr 13, 2019

Meta-analysis and systematic reviews参考文献 23被引用 4

一句话总结

本文通过整合无差别检验（agnostic tests），提出可解释的假设检验方法，允许三种结果：拒绝原假设、接受原假设或保持无差别态度，从而避免标准检验中因非拒绝原假设而产生的解释模糊性。同时引入实用型假设（pragmatic hypotheses），以基于效应量的替代假设取代精确的原假设。通过同时控制第一类和第二类错误，并确保多重检验中的逻辑一致性，该方法解决了标准检验在解释上的难题，特别是非拒绝结果的模糊性以及拒绝结果的实际相关性问题。

ABSTRACT

Although hypothesis tests play a prominent role in Science, their interpretation can be challenging. Three issues are (i) the difficulty in making an assertive decision based on the output of an hypothesis test, (ii) the logical contradictions that occur in multiple hypothesis testing, and (iii) the possible lack of practical importance when rejecting a precise hypothesis. These issues can be addressed through the use of agnostic tests and pragmatic hypotheses.

研究动机与目标

• 解决标准假设检验中的解释困难问题，即原假设未能被拒绝时，常被误解为支持原假设的证据。
• 通过修改检验框架，消除多重假设检验中的逻辑不一致，例如在拒绝原假设的同时，未拒绝其逻辑蕴含的子假设。
• 通过以有意义的效应量为基础的实用型替代假设取代精确假设，确保统计拒绝具有实际相关性。
• 构建一个框架，通过显式控制错误类型和可解释的结果，实现更清晰的统计推断决策。

提出的方法

• 实施无差别假设检验，允许三种结果：拒绝原假设、接受原假设或保持无差别态度，从而避免在非拒绝时陷入‘信念悬置的困境’。
• 通过显式建模‘无差别’结果，控制第一类和第二类错误率，且该结果在发生时是已知的，这与标准检验不同。
• 将实用型假设定义为一组参数值，其产生的预测行为与原假设相似，例如 $Pg(H_0) = \{\theta^* : d_Z(\theta_0, \theta^*) \leq \epsilon\}$，以确保实际相关性。
• 在高维模型中，当精确计算不可行时，使用蒙特卡洛积分近似实用型假设，将干扰参数固定在其估计值上。
• 对实用型假设应用基于区域的无差别检验，使决策同时反映统计显著性与实际显著性。
• 为实用型假设下的参数构建置信区域，并在不同样本大小下评估检验结果，以展示其稳定性和可解释性。

实验结果

研究问题

• RQ1 如何重构假设检验，以避免标准检验中非拒绝结果带来的解释模糊性？
• RQ2 能否通过修改检验框架，消除多重假设检验中的逻辑不一致？
• RQ3 用基于效应量的实用型替代假设取代精确原假设，在多大程度上能提升统计拒绝的实际相关性？
• RQ4 如何构建无差别检验，以同时控制第一类和第二类错误率，同时允许第三种中立结果？
• RQ5 在具有多个参数的参数模型中，是否存在一种可行且通用的方法，用于近似实用型假设？

主要发现

• 无差别检验通过明确区分‘缺乏证据’与‘支持原假设的证据’，消除了‘信念悬置的困境’。
• 引入‘无差别’结果后，可同时控制第一类和第二类错误，且第三类错误（保持无差别）是已知且可管理的，这与标准检验不同。
• 无差别检验在多重假设检验中保证了逻辑一致的结论，解决了如‘拒绝 $H_0$’但‘不拒绝 $H_0^*$’的矛盾，其中 $H_0^*$ 逻辑蕴含 $H_0$。
• 实用型假设（定义为产生相似预测行为的参数值集合）确保了对原假设的拒绝具有实际意义，而不仅仅是统计显著。
• 通过在估计的干扰参数上条件化，利用蒙特卡洛积分可高效计算实用型假设的近似值，将计算复杂度从高维搜索降低为一维搜索。
• 在万有引力常数示例中，当测量不精确时，检验正确地接受 $g \approx 9.8$ 与真实值 $g \approx 9.807$ 在实际意义上等价，展示了在不同样本大小下结果的实用可解释性。