[論文レビュー] Making statistical methods in management research more useful: some suggestions from a case study

Michael Wood|arXiv (Cornell University)|Aug 1, 2009

Complex Systems and Decision Making参考文献 39被引用数 3

ひとこと要約

この論文は事例研究を通じて、経営研究における伝統的な統計的実践を検証し、より明確な報告、帰無仮説の有意検定に代わる効果量の推定と信頼区間の使用、実用的有意性への注意を促す。著者は再分析を通じて、解釈可能性と現実世界の関連性を高める、より透明性があり使いやすい統計的コミュニケーションの方法を示している。

ABSTRACT

I present a critique of the methods used in a typical paper. This leads to three broad conclusions about the conventional use of statistical methods. First, results are often reported in an unnecessarily obscure manner. Second, the null hypothesis testing paradigm is deeply flawed: estimating the size of effects and citing confidence intervals or levels is usually better. Third, there are several issues, independent of the particular statistical concepts employed, which limit the value of any statistical approach: e.g. difficulties of generalizing to different contexts, and the weakness of some research in terms of the size of the effects found. The first two of these are easily remedied: I illustrate some of the possibilities by re-analyzing the data from the case study article. The third means that in some contexts a statistical approach may not be worthwhile. My case study is a management paper, but similar problems arise in other social sciences. Keywords: Confidence, Hypothesis testing, Null hypothesis significance tests, Philosophy of statistics, Statistical methods, User-friendliness.

研究の動機と目的

• 経営研究における統計的報告の一般的な欠陥を特定・批判すること。
• 帰無仮説の有意検定がしばしば誤解を招き、効果量の推定と信頼区間による補完または置き換えが望ましいと主張すること。
• より明確で透明性のある報告慣行を通じて、社会科学研究における統計的手法の使いやすさと解釈可能性を向上させること。
• 事例研究の再分析を通じて、代替的な統計的アプローチがより意味のあるかつアクセスしやすい結果をもたらすことを示すこと。
• 一般化可能性と効果量の制限が、統計的分析の価値をしばしば損なうことを強調すること。

提案手法

• 代表的な経営研究論文で用いられた統計的手法を批判的にレビューすること。
• p値に依存するのではなく、効果量の推定と信頼区間を用いて、元のデータを再分析すること。
• 実用的有意性を統計的有意性よりも重視する形で、より透明性があり解釈しやすい形式で結果を再報告すること。
• 信頼区間が不確実性と効果の大きさの理解をどのように向上させるかを説明すること。
• ユーザーフレンドリーさと現実世界の関連性を重視する形で統計的報告を再構成すること。
• 低効果量や一般化可能性の低さといった方法論的欠陥を、統計的手法の選択とは独立して特定すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ経営研究における統計的結果はしばしば曖昧で情報量が少ない形で報告されるのか？
• RQ2 帰無仮説の有意検定と比較して、信頼区間と効果量は研究結果の解釈をどのように改善するのか？
• RQ3 低効果量と一般化可能性の欠如が、経営研究における統計的分析の価値をどの程度制限するのか？
• RQ4 統計的手法の報告慣行にどのような変更を加えると、研究者や実務家にとってより有用でアクセスしやすくなるのか？
• RQ5 従来の統計的実践は、研究結果の真の実用的有意性をどのように反映していないのか？

主な発見

• 従来の報告方法は、効果の大きさと精度の真の状態を隠蔽する傾向があり、解釈可能性を低下させる。
• 帰無仮説の有意検定を効果量の推定と信頼区間によるものに置き換えることで、より情報量が多く透明性の高い結果が得られる。
• 事例研究の再分析から、信頼区間が推定効果の範囲と信頼性をより明確に示すことがわかった。
• 多くの研究では、統計的に有意な結果を報告しているが、その効果量は微小または実用的に有意でないことが多く、現実世界の関連性を損なう。
• 一般化可能性の問題と弱い効果量は、使用する手法に関わらず、統計的アプローチの価値をしばしば制限する。
• 効果量と不確実性に焦点を当てた報告慣行の改善は、経営学および社会科学研究における統計的手法の有用性を顕著に高めることができる。