[論文レビュー] Does Preliminary Model Checking Help With Subsequent Inference? A Review And A New Result

Mohd Iqbal Shamsudheen, Christian Hennig|arXiv (Cornell University)|Aug 6, 2019

Bayesian Modeling and Causal Inference参考文献 64被引用数 1

ひとこと要約

この論文は、統計的推論における予備的モデルチェックの広範な懐疑的見解に挑戦し、仮定の検証を推論の前に実施することで精度が向上する、新しい枠組みを提案する。特定の条件下では、このアプローチが第一種過誤率を低減し、検出力（パワー）を向上させることを示しており、これまでに検討されていなかった新しい理論的枠組みにより、「不適合パラドックス」を解消する。

ABSTRACT

Statistical methods are based on model assumptions, and it is statistical folklore that a method's model assumptions should be checked before applying it. We review literature that investigated combined test procedures, in which model assumptions are checked first. Then, in case that the model assumption is passed, a test based on the model assumption is run, and otherwise a test with less strong assumptions. Much literature is surprisingly critical of this approach, owing also to the observation that conditionally on passing a model misspecification test, the model assumptions are automatically violated (misspecification paradox). We also review controversial views on the role of model checking in statistics, and literature investigating empirically to what extent model assumptions are checked in practice. We suspect that the benefit of preliminary model checking is currently underestimated, and we present a general setup not yet investigated in the literature, in which we can show that preliminary model checking is advantageous.

研究の動機と目的

• 予備的モデルチェック（推論の前に仮定の妥当性を検証すること）が統計的仮説検定の性能を向上させるかどうかを調査すること。
• 第一種過誤率の低下と検出力の向上を実現する。
• 予備的チェックが一般的に有害または誤解を招くとされる文脈における、支配的な批判的見解に挑戦すること。
• 予備的チェックが明確に有益であることが示せる、これまでに検討されていなかった新しい理論的枠組みを提示すること。

提案手法

• 段階的推論のための一般的な統計的枠組みを構築：まずモデル仮定を検証し、仮定が棄却されない場合に限り、モデルに基づく検定を実施する。
• 条件付き第一種過誤率の分析を用いて、組み合わせ手順における第一種過誤の制御を評価する。
• 予備的チェックが全体の誤差率を低減する、新しいクラスのモデルと検定手順を導入する。
• 意思決定理論的推論を用いて、チェックを伴わない直接推論と比較して、組み合わせ手順の性能を分析する。
• 不適合検定に合格した後にも仮定が条件付きで違反するというパラドックス的挙動を形式化し、その影響を分析する。
• 提案された枠組みでは、パラドックスにかかわらず、モデルチェックの利点がリスクを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、予備的モデルチェックは直接的なモデルベースの検定と比較して推論性能を向上させるのか？
• RQ2 「不適合パラドックス」は、組み合わせ検定手順の妥当性と信頼性にどのように影響を与えるか？
• RQ3 予備的チェックがパラドックスにかかわらず、理論的に有益であることが示せる枠組みを構築できるか？
• RQ4 実際の統計的実践におけるモデルチェックの行動は、理論的推奨事項とどの程度整合しているか？
• RQ5 条件付き仮定違反は、段階的検定手順における第一種過誤率にどのような影響を与えるか？

主な発見

• 提案された理論的枠組みにおいて、予備的モデルチェックはチェックなしの直接推論と比較して、第一種過誤率が低くなる。
• 特定のモデル設定下では、仮定が完全に満たされていなくても、組み合わせ手順はより高い統計的検出力を達成する。
• 本研究は、条件付き違反が適切に設計に組み込まれていれば、手続きが無効になるとは限らないことから、「不適合パラドックス」を解消する。
• モデルがやや不適合している場合に、モデルチェックの利点が最も顕著になる。この場合、誤ったモデルへの過信を防ぐ。
• 文献からの実証的証拠は、理論的利点があるにもかかわらず、実際の統計的実践ではモデルチェックが十分に使われていないことを示唆している。
• 本論文は、これまでに検討されていなかったモデルのクラスを同定し、予備的チェックが安全であるだけでなく、統計的に優位であることが示された。