[論文レビュー] RESI: An R Package for Robust Effect Sizes

Megan Jones, Kaidi Kang+1 more|arXiv (Cornell University)|Feb 23, 2023

Data Analysis with R被引用数 7

ひとこと要約

本論文では、多様な統計モデルにおいて正確な信頼区間を伴うロバストでモデルに依存しない効果量指標（RESI）を計算するためのRパッケージ、RESI Rパッケージを紹介する。このパッケージは、回帰係数、分散分析表、Wald検定の効果量報告を一貫して可能にし、Cohenのd やR²などの他の効果量指標への変換や可視化を支援する。これにより、応用研究における効果量推定と報告の主要な制限が解消される。

ABSTRACT

Effect size indices are useful parameters that quantify the strength of association and are unaffected by sample size. There are many available effect size parameters and estimators, but it is difficult to compare effect sizes across studies as most are defined for a specific type of population parameter. We recently introduced a new Robust Effect Size Index (RESI) and confidence interval, which is advantageous because it is not model-specific. Here we present the RESI R package, which makes it easy to report the RESI and its confidence interval for many different model classes, with a consistent interpretation across parameters and model types. The package produces coefficient, ANOVA tables, and overall Wald tests for model inputs, appending the RESI estimate and confidence interval to each. The package also includes functions for visualization and conversions to and from other effect size measures. For illustration, we analyze and interpret three different model types.

研究の動機と目的

• 多様なモデルタイプやパrameterタイプに適用可能な統一的でロバストな効果量測度の欠如を是正すること。
• 既存の効果量測度の限界、すなわちモデル依存性、信頼区間の欠如、余分なパrameter（いらないパrameter）の取り扱いの不備を克服すること。
• RESI推定を標準的なモデル要約（回帰係数、分散分析、Wald検定）にスムーズに統合できるRパッケージの開発。
• 効果量の計算、可視化、他の一般的な効果量指標への変換を容易にすることで、効果量の広範な採用を促進すること。
• 一貫性がありロバストなインデックスを提供することで、研究における効果量の透明性、解釈可能性、再現可能性を高めること。

提案手法

• RESIは、F統計量、t統計量、Z統計量、カイ二乗統計量と自由度から計算され、モデルタイプに依存しないように効果量を標準化する変換が用いられる。
• ブートストラップに基づく信頼区間手順が実装されており、小標本や正規分布でない誤差のもとでも正確な被覆率を確保する。
• 既存のモデル要約関数（例：summary.lm, anova）を拡張し、出力テーブルにRESI推定値と信頼区間を直接追加する。
• モデルベースの入力（例：フィットしたモデルオブジェクト）と、統計量、自由度、標本サイズの直接入力の両方をサポートする。
• 可視化関数（例：plot.resi）は、カスタマイズ可能な余白とテキストスケーリングを備えたラベル付きの効果量プロットを生成する。
• 変換関数により、RESIとCohenのd、f²、R²などの他の一般的な効果量インデックスとの間での変換が可能になる。

実験結果

リサーチクエスチョン

• RQ1 線形モデル、分散分析、回帰モデルを含む多様な統計モデルにおいて、一貫したロバストな効果量指標が信頼性を持って推定可能か。
• RQ2 標準誤差が不均一分散または非正規分布である場合でも、モデルに依存しない方法で効果量の信頼区間を正確に計算する方法は何か。
• RQ3 RESIパッケージは、応用統計的実践における効果量報告のアクセス性と一貫性をどの程度向上させるか。
• RQ4 データ構造が異なる場合において、Cohenのd やR²といった従来の効果量測度と比較して、RESIは解釈可能性とロバスト性の面で優れているか。
• RQ5 異なるパrameter化や余分な変数を含む研究やモデル間で、RESIを効果量の比較に効果的に使用できるか。

主な発見

• RESIは、サンプルサイズやモデル固有の仮定に依存しない一貫した、モデルに依存しない効果量推定値を提供する。
• 全線形モデルにおけるRESI推定値は0.3595（95％信頼区間：0.3205〜0.4214）であり、中程度から大きな効果と解釈され、実世界のデータにおける有用性が示された。
• パッケージは、回帰係数表、分散分析表、および全体のWald検定に、RESI推定値と信頼区間を正常に追加する。
• RESIは、Cohenのd、f²、R²などの他の一般的な効果量指標に信頼性を持って変換可能であり、既存の文献との互換性が向上する。
• 可視化関数により、ラベルと軸スケーリングをカスタマイズ可能なRESI推定値のプロットが可能となり、結果の解釈性と伝達性が向上する。
• モデルベース入力と統計量ベース入力の両方をサポートしており、非標準的または新規に実装されたモデルを扱うユーザーの柔軟性が向上する。