[논문 리뷰] Does Preliminary Model Checking Help With Subsequent Inference? A Review And A New Result

Mohd Iqbal Shamsudheen, Christian Hennig|arXiv (Cornell University)|2019. 08. 06.

Bayesian Modeling and Causal Inference참고 문헌 64인용 수 1

한 줄 요약

이 논문은 통계적 추론에서 초도 모형 점검에 대한 광범위한 의심을 도전하며, 추론 이전에 모형 가정을 점검하는 것이 정확도를 향상시킬 수 있는 새로운 프레임워크를 제안한다. 특정 조건 하에서 이러한 접근이 유형 I 오류 비율을 감소시키고 검정력(power)을 향상시켜, 이전에 탐색되지 않은 새로운 이론적 설정을 통해 '모형 불일치 역설(misspecification paradox)'을 해결한다.

ABSTRACT

Statistical methods are based on model assumptions, and it is statistical folklore that a method's model assumptions should be checked before applying it. We review literature that investigated combined test procedures, in which model assumptions are checked first. Then, in case that the model assumption is passed, a test based on the model assumption is run, and otherwise a test with less strong assumptions. Much literature is surprisingly critical of this approach, owing also to the observation that conditionally on passing a model misspecification test, the model assumptions are automatically violated (misspecification paradox). We also review controversial views on the role of model checking in statistics, and literature investigating empirically to what extent model assumptions are checked in practice. We suspect that the benefit of preliminary model checking is currently underestimated, and we present a general setup not yet investigated in the literature, in which we can show that preliminary model checking is advantageous.

연구 동기 및 목표

• 초도 모형 점검(추론 이전에 가정을 검증함)이 통계적 검정 성능을 향상시키는지 조사하기.
• '모형 불일치 역설'을 해결하기. 이는 모형 점검에 통과한다는 것은 가정 위반이 조건적으로 발생한다는 것을 의미한다.
• 기존 문헌에서 널리 지배적인 비판적 시각인 '초도 점검은 일반적으로 해로운가 혹은 오해의 소지가 있다'는 견해에 도전하기.
• 이전에 탐색되지 않은 새로운 이론적 설정을 제시하여, 초도 점검이 증명 가능하게 유익한 경우를 보여주기.

제안 방법

• 일련의 추론을 위한 일반 통계 프레임워크를 개발: 먼저 모형 가정을 검증하고, 가정이 기각되지 않으면서만 모형 기반 검정을 적용한다.
• 조건부 오류 비율 분석을 사용하여 병합 절차 하에서의 유형 I 오류 통제를 평가한다.
• 초도 점검이 전체 오류 비율을 감소시키는 새로운 유형의 모형 및 검정 절차를 도입한다.
• 결정 이론적 추론을 활용하여 점검 없이 직접 추론하는 것과 병합 절차의 성능을 비교한다.
• 모형 점검의 역설적인 행동을 수식적으로 분석하여, 불일치 테스트에 통과한 후에 가정 위반이 조건적으로 발생하는 것을 규명한다.
• 제안된 설정 하에서, 조건부 위반에도 불구하고 점검의 이점이 위험을 초월함을 입증한다.

실험 결과

연구 질문

• RQ1 초도 모형 점검이 직접 모형 기반 검정보다 통계적 추론 성능을 향상시키는 데 어떤 조건에서 성립하는가?
• RQ2 모형 불일치 역설이 병합 검정 절차의 타당성과 신뢰성에 어떤 영향을 미치는가?
• RQ3 초도 점검이 역설에도 불구하고 증명 가능하게 이로운 이론적 프레임워크를 구축할 수 있는가?
• RQ4 실제 모형 점검 행동이 통계적 실무에서 이론적 권고와 어느 정도 일치하는가?
• RQ5 조건부 가정 위반이 일련의 검정 절차에서의 유형 I 오류 비율에 어떤 영향을 미치는가?

주요 결과

• 제안된 이론적 프레임워크 하에서, 초도 모형 점검은 점검 없이 직접 추론하는 것보다 낮은 유형 I 오류 비율을 보인다.
• 특정 모형 구성 조건 하에서, 가정이 완벽하게 충족되지 않더라도 병합 절차는 높은 통계적 검정력을 달성한다.
• 이 연구는 조건부 위반도 설계 단계에서 적절히 고려되면 절차가 반드시 무효가 되지 않는다는 점을 보여줌으로써 '모형 불일치 역설'을 해결한다.
• 모형이 중간 정도로 불일치할 경우에 점검의 이점이 가장 두드러지며, 이는 잘못된 모형에 대한 과도한 자신감을 방지한다.
• 문헌의 실증적 증거는 모형 점검이 이론적 이점이 있음에도 불구하고 실무에서는 부족하게 사용되고 있음을 시사한다.
• 이 논문은 이전에 탐색되지 않은 모형 유형을 특정하여, 초도 점검이 안전할 뿐 아니라 통계적으로 유리한 경우를 밝혀냈다.