[논문 리뷰] Seeking evidence of absence: Reconsidering tests of model assumptions

Alyssa Bilinski, Laura A. Hatfield|arXiv (Cornell University)|2018. 05. 08.

Meta-analysis and systematic reviews인용 수 15

한 줄 요약

논문은 모형 가정 검정에서 귀무가설을 채택하는 것을 가정이 만족됨을 뜻하는 증거로 해석하는 일반적인 관행을 도전하며, 이러한 검정이 실질적으로 중요한 위반을 탐지할 수 있는 능력이 부족하다고 주장한다. 이를 대체로 민감도 분석이 모형 가정을 평가하는 데 더 효과적인 방법이라고 제안한다.

ABSTRACT

Statistical tests can only reject the null hypothesis, never prove it. However, when researchers test modeling assumptions, they often interpret the failure to reject a null of no violation as evidence that the assumption holds. We discuss the statistical and conceptual problems with this approach. We show that equivalence/non-inferiority tests, while giving correct Type I error, have low power to rule out many violations that are practically significant. We suggest sensitivity analyses that may be more appropriate than hypothesis testing.

연구 동기 및 목표

• 모형 가정 검정에서 귀무가설을 채택하는 것을 모형 가정이 충족됨을 뜻하는 증거로 해석하는 광범위한 경향을 비판하는 것.
• 귀무가설을 기각하지 못하는 것을 가정의 타당성 증거로 간주하는 데서 비롯되는 개념적·통계적 결함을 부각하는 것.
• 등가성 및 비열 劣성 검정은 제1종 오류를 제어하지만, 실질적으로 의미 있는 위반을 탐지할 능력이 떨어지는 경우가 많다는 것을 보여주는 것.
• 민감도 분석을 통해 모형 가정의 탄력성을 평가하는 데 더 적합한 방법으로서의 제안

제안 방법

• 모형 가정에 대한 전통적 가설 검정을 가정 위반의 영향을 평가하는 민감도 분석으로 대체할 것을 제안한다.
• 모형 가정 평가 시 p-값보다 효과 크기와 실질적 의의를 우선시하는 것을 강조한다.
• 가정 조건에서의 이격에 따른 모형 결과의 민감도를 평가하는 아이디어를 도입한다.
• 이진 검정 결과에 의존하는 대신, 다양한 현실적인 이격 범위에서의 결과 보고를 권장한다.
• 시뮬레이션과 이론적 분석을 통해 가설 검정과 민감도 접근 방식의 성능을 비교한다.
• 가정 평가 시 통계적 유의성뿐 아니라 이격의 크기를 고려하는 것이 중요하다고 강조한다.

실험 결과

연구 질문

• RQ1 왜 모형 가정 검정에서 귀무가설을 기각하지 못하는 것을 가정 타당성의 증거로 해석하는 것이 통계적으로 문제가 되는가?
• RQ2 등가성 및 비열 劣성 검정은 모형 가정 위반의 실질적으로 중요한 위반을 탐지하는 데 어떻게 작용하는가?
• RQ3 실제 적용에서 p-값을 통해 모형 가정을 평가하는 데 있어 어떤 한계가 있는가?
• RQ4 민감도 분석은 전통적 가설 검정보다 모형 가정에 대해 더 유익한 통찰을 어떻게 제공하는가?
• RQ5 연구자가 모형의 가정 위반에 대한 탄력성을 평가하기 위해 어떤 대안 전략을 사용할 수 있는가?

주요 결과

• 귀무가설을 기각하지 못하는 것은 이러한 검정이 확인을 위한 것이 아니라 기각을 위한 것이므로, 가정이 만족됨을 뜻하지는 않는다.
• 등가성 및 비열 劣성 검정은 제1종 오류 비율을 올바르게 제어하지만, 실질적으로 의미 있는 위반을 탐지할 능력이 떨어지는 경우가 많다.
• 많은 모형 가정 위반은 추론에 상당한 영향을 미치지만, 표본 크기가 크더라도 표준 가설 검정에서는 탐지되지 않는 경우가 많다.
• 가정에서의 현실적인 이격에 대한 영향을 평가하는 민감도 분석은 양자리 검정보다 더 정보가 많고 탄력 있는 통찰을 제공한다.
• 논문은 연구자가 모형 가정을 평가할 때 p-값보다 효과 크기와 실질적 의의를 우선시해야 한다고 발견한다.
• 제안된 접근법은 가정 검정에서 가정의 실제 영향 평가로 초점을 이동시켜 더 신뢰할 수 있는 모형 평가로 이어진다.