[論文レビュー] Size Matters: The Use and Misuse of Statistical Significance in Discrete Choice Models in the Transportation Academic Literature

Giancarlos Parady, Kay W. Axhausen|arXiv (Cornell University)|Aug 13, 2022

Economic and Environmental Valuation参考文献 23被引用数 2

ひとこと要約

この論文は、交通研究における統計的有意性への過剰な依存を批判し、離散的選択モデルを用いた研究において広範な誤用が見られるとしている。39%の研究が係数の符号に基づいて結果を解釈しており、67%が統計的有意性と実用的有意性を混同しており、95件の研究のうちどれも統計的パワーを評価していなかった。著者らは、研究の政策的インパクトを高めるために、効果量、信頼区間、政策関連の大きさに注目するべきだと提言している。

ABSTRACT

In this paper we review the academic transportation literature published between 2014 and 2018 to evaluate where the field stands regarding the use and misuse of statistical significance in empirical analysis, with a focus on discrete choice models. Our results show that 39% of studies explained model results exclusively based on the sign of the coefficient, 67% of studies did not distinguish statistical significance from economic, policy or scientific significance in their conclusions, and none of the reviewed studies considered the statistical power of the tests. Based on these results we put forth a set of recommendations aimed at shifting the focus away from statistical significance towards proper and comprehensive assessment of effect magnitudes and other policy relevant quantities.

研究の動機と目的

• 2014年から2018年の間の学術的交通研究における統計的有意性の使用と誤用を評価すること。
• 離散的選択モデルにおける統計的有意性の解釈と適用の方法論的欠陥を特定すること。
• 発表済みの研究において、効果量、統計的パワー、政策的関連性への注意が不足している問題に対処すること。
• 交通研究における実務的報告基準の改善に向けた具体的な提言を提供すること。
• 研究実践を、より意味のある、政策を念頭に置いたモデル結果の評価に再調整すること。

提案手法

• 2014年から2018年までの間のWeb of Scienceを用いて、交通分野における離散的選択モデルを対象に、95編の査読済み学術論文を系統的レビューした。
• McCloskeyとZiliakの19項目からなるフレームワークを交通分野の文脈に合わせて改変し、統計的有意性の実践を評価した。
• 「はい」「いいえ」「部分的に満足できる」という回答を用いた、修正されたスコアリングシステムを導入し、方法論的厳密性を評価した。
• 主な指標に注目した：統計的有意性と実用的有意性の区別、効果量の報告、信頼区間、統計的パワー。
• 283件の該当基準を満たす論文のうち34%をランダムサンプルとして抽出し、純粋な方法論的またはシミュレーション専用の研究は除外した。
• 政策関連変数に注目し、少なくとも3つの主要な選択次元（移動手段、経路、目的地方）のうちの1つを含む必要があった。

実験結果

リサーチクエスチョン

• RQ1 交通研究は、統計的有意性と経済的・政策的有意性の違いをどの程度明確にしているか？
• RQ2 統計的有意性が、モデル結果の解釈の唯一の基準としてどの程度頻繁に使用されているか？
• RQ3 どの程度の研究が効果量、信頼区間、または大きさの解釈のベンチマークを報告しているか？
• RQ4 交通研究において、研究設計段階または後から報告された統計的パワーはどの程度考慮されているか？
• RQ5 研究は、既存の文献と効果推定値を比較するか、政策的文脈にそれらを位置づけているか？

主な発見

• 39%の研究が、大きさや不確実性を無視して、係数の符号に基づいてモデル結果を説明していた。
• 67%の研究が、結論において統計的有意性と経済的・政策的・科学的有意性を区別していなかった。
• 調査された95件の研究のうち、どれも統計的パワーの検討や報告をしていなかった。
• わずか4%の研究が、モデルに使用された変数の記述統計を報告しており、透明性と再現性が損なわれていた。
• 60%の研究が「有意」という用語を曖昧に使用しており、統計的有意性と実用的有意性の両方を指している場合があった。
• 信頼区間は、不確実性と実用的関連性を伝える価値があるにもかかわらず、大多数の研究が効果量の信頼区間を報告していなかった。