[논문 리뷰] Size Matters: The Use and Misuse of Statistical Significance in Discrete Choice Models in the Transportation Academic Literature

Giancarlos Parady, Kay W. Axhausen|arXiv (Cornell University)|2022. 08. 13.

Economic and Environmental Valuation참고 문헌 23인용 수 2

한 줄 요약

이 논문은 이동 수단 연구에서 통계적 유의성에 대한 과도한 의존을 비판하며, 이산 선택 모델을 사용한 연구에서 광범위한 오용 사례를 드러낸다: 39%의 연구가 계수의 부호만으로 결과를 판단했고, 67%는 통계적 유의성과 실용적 유의성을 혼동했으며, 통계적 검증력은 전혀 고려하지 않았다. 저자들은 연구 영향을 향상시키기 위해 효과 크기, 신뢰구간, 정책 관련 크기로 초점을 전환할 것을 주장한다.

ABSTRACT

In this paper we review the academic transportation literature published between 2014 and 2018 to evaluate where the field stands regarding the use and misuse of statistical significance in empirical analysis, with a focus on discrete choice models. Our results show that 39% of studies explained model results exclusively based on the sign of the coefficient, 67% of studies did not distinguish statistical significance from economic, policy or scientific significance in their conclusions, and none of the reviewed studies considered the statistical power of the tests. Based on these results we put forth a set of recommendations aimed at shifting the focus away from statistical significance towards proper and comprehensive assessment of effect magnitudes and other policy relevant quantities.

연구 동기 및 목표

• 2014년에서 2018년 사이의 학술적 이동 수단 연구에서 통계적 유의성의 사용과 오용 여부를 평가하기 위해.
• 이산 선택 모델링에서 통계적 유의성이 어떻게 해석되고 적용되는지에 대한 공통된 방법론적 결함을 규명하기 위해.
• 출판된 연구에서 효과 크기, 통계적 검증력, 정책 관련성에 대한 관심 부족을 다루기 위해.
• 이동 수단 연구에서의 실용적 보고 기준 향상을 위한 구체적인 권고 사항을 제공하기 위해.
• 연구 관행을 더 의미 있고 정책 기반의 모델 결과 평가 방향으로 재정비하기 위해.

제안 방법

• 2014–2018년 기간 동안 Web of Science를 활용해 이산 선택 모델을 다룬 95편의 동료 심사 논문을 대상으로 체계적 검토를 수행하였다.
• McCloskey와 Ziliak의 19문항 프레임워크를 이동 수단 분야에 맞게 수정하여 통계적 유의성 관행을 평가하였다.
• ‘예’, ‘아니요’, ‘부분적으로 만족’이라는 응답을 사용한 수정된 점수 체계를 적용하여 방법론적 엄밀함을 평가하였다.
• 핵심 지표에 집중: 통계적 유의성과 실용적 유의성의 구분, 효과 크기 보고, 신뢰구간, 통계적 검증력.
• 포함 기준을 충족하는 283편의 논문 중 34%의 무작위 표본을 활용하였으며, 순수하게 방법론적 또는 시뮬레이션 전용 연구는 제외하였다.
• 정책 관련 변수에 중점을 두었으며, 모드, 경로, 목적지 선택 중 최소 하나의 핵심 선택 차원을 포함하도록 요구하였다.

실험 결과

연구 질문

• RQ1 이동 수단 연구에서 통계적 유의성과 경제적 또는 정책적 유의성 간의 구분을 어느 정도 하고 있는가?
• RQ2 통계적 유의성이 모델 결과 해석의 유일한 기준으로 사용되는 빈도는 얼마나 되는가?
• RQ3 효과 크기, 신뢰구간, 또는 크기 해석을 위한 기준을 보고하는 연구의 비율은 얼마인가?
• RQ4 이동 수단 연구에서 연구 설계 단계나 사후 보고 시 통계적 검증력이 얼마나 자주 고려되거나 보고되는가?
• RQ5 연구가 기존 문헌의 효과 추정치와 비교하거나 정책적 맥락에서 효과를 설명하는 정도는 어느 정도인가?

주요 결과

• 39%의 연구가 계수의 부호만으로 모델 결과를 설명하며, 크기와 불확실성은 간과하였다.
• 67%의 연구가 결론에서 통계적 유의성과 경제적, 정책적, 과학적 유의성 간의 차이를 명확히 하지 못했다.
• 검토한 95개 연구 중 어느 것도 통계적 검증력을 고려하거나 보고하지 않았다.
• 연구의 4%만이 모델에 사용된 변수의 기술통계를 보고하여 투명성과 재현 가능성을 떨어뜨렸다.
• 60%의 연구가 '유의하다'는 표현을 모호하게 사용했으며, 통계적 유의성인지 실용적 중요성인지가 뚜렷하지 않았다.
• 효과 크기의 신뢰구간을 보고한 연구는 대부분이 없었으며, 이는 불확실성과 실용적 관련성을 전달하는 데 가치가 있음에도 불구하고.