[论文解读] Does Preliminary Model Checking Help With Subsequent Inference? A Review And A New Result

Mohd Iqbal Shamsudheen, Christian Hennig|arXiv (Cornell University)|Aug 6, 2019

Bayesian Modeling and Causal Inference参考文献 64被引用 1

一句话总结

本文通过提出一种新颖的理论框架，挑战了统计推断中对初步模型检验的普遍怀疑态度。该框架表明，在特定条件下，先检验模型假设再进行推断可提高准确性。研究证明，该方法可降低第一类错误率并提升统计功效，从而通过一种此前未被探索的新理论设定解决了‘模型误设悖论’。

ABSTRACT

Statistical methods are based on model assumptions, and it is statistical folklore that a method's model assumptions should be checked before applying it. We review literature that investigated combined test procedures, in which model assumptions are checked first. Then, in case that the model assumption is passed, a test based on the model assumption is run, and otherwise a test with less strong assumptions. Much literature is surprisingly critical of this approach, owing also to the observation that conditionally on passing a model misspecification test, the model assumptions are automatically violated (misspecification paradox). We also review controversial views on the role of model checking in statistics, and literature investigating empirically to what extent model assumptions are checked in practice. We suspect that the benefit of preliminary model checking is currently underestimated, and we present a general setup not yet investigated in the literature, in which we can show that preliminary model checking is advantageous.

研究动机与目标

• 调查初步模型检查（即在推断前验证假设）是否能提升统计检验的表现。
• 解决‘模型误设悖论’，即通过模型检查条件性地意味着假设被违反。
• 挑战文献中普遍存在的批判性观点，即初步检查通常具有误导性或有害。
• 提出一种此前未被探索的理论设定，证明初步检查在理论上具有可证明的优势。

提出的方法

• 构建一个通用的统计推断框架用于顺序推断：首先检验模型假设，仅在假设未被拒绝时才应用基于模型的检验。
• 使用条件错误率分析评估组合程序在整体推断过程中的第一类错误控制能力。
• 引入一类新型模型与检验程序，其中初步检查可降低总体错误率。
• 采用决策理论推理，将组合程序的表现与无检查的直接推断进行比较。
• 通过形式化建模检查后假设的条件性违反行为，分析模型检查的悖论性表现。
• 证明在所提出的设定下，即使存在悖论，模型检查的益处仍超过其风险。

实验结果

研究问题

• RQ1 在何种条件下，初步模型检查相较于直接基于模型的检验，能提升推断性能？
• RQ2 ‘模型误设悖论’如何影响组合检验程序的有效性与可靠性？
• RQ3 能否构建一个理论框架，使得初步检查在悖论存在的情况下仍可被证明具有优势？
• RQ4 实际的模型检查行为在多大程度上与统计实践中的理论建议相一致？
• RQ5 条件性假设违反对顺序检验程序中第一类错误率有何影响？

主要发现

• 在所提出的理论框架中，与无检查的直接推断相比，初步模型检查可导致更低的第一类错误率。
• 在某些模型配置下，即使假设未被完全满足，组合程序仍能实现更高的统计功效。
• 本研究通过证明：只要在设计中适当地考虑条件性违反，条件性违反并不必然使程序失效，从而解决了‘模型误设悖论’。
• 当模型存在适度误设时，模型检查的优势最为显著，因为检查可防止对错误模型的过度自信。
• 文献中的实证证据表明，尽管具有理论优势，实践中模型检查仍被严重低估。
• 本文识别出一类此前未被探索的模型，其中初步检查不仅安全，而且在统计上具有优势。