[논문 리뷰] RESI: An R Package for Robust Effect Sizes

Megan Jones, Kaidi Kang외 1명|arXiv (Cornell University)|2023. 02. 23.

Data Analysis with R인용 수 7

한 줄 요약

이 논문은 다양한 통계 모델에서 정확한 신뢰구간을 갖는 강건하고 모델에 종속되지 않는 효과 크기 지표(RESI)를 계산하기 위한 RESI R 패키지를 소개한다. 이 도구는 계수, ANOVA 표, Wald 검정에 대한 일관된 효과 크기 보고를 가능하게 하며, Cohens d나 R²와 같은 다른 효과 크기 지표로의 변환 및 시각화를 지원함으로써 적용 연구에서 효과 크기 추정 및 보고의 핵심적 한계를 해결한다.

ABSTRACT

Effect size indices are useful parameters that quantify the strength of association and are unaffected by sample size. There are many available effect size parameters and estimators, but it is difficult to compare effect sizes across studies as most are defined for a specific type of population parameter. We recently introduced a new Robust Effect Size Index (RESI) and confidence interval, which is advantageous because it is not model-specific. Here we present the RESI R package, which makes it easy to report the RESI and its confidence interval for many different model classes, with a consistent interpretation across parameters and model types. The package produces coefficient, ANOVA tables, and overall Wald tests for model inputs, appending the RESI estimate and confidence interval to each. The package also includes functions for visualization and conversions to and from other effect size measures. For illustration, we analyze and interpret three different model types.

연구 동기 및 목표

• 다양한 모델 유형과 파rameter 유형에 적용 가능한 통합적이고 강건한 효과 크기 측정법의 부족을 해결하기 위해.
• 기존 효과 크기 측정법의 한계, 즉 모델 특이성, 신뢰구간 부재, 부수적 변수 처리 실패를 극복하기 위해.
• 표준 모델 요약(계수, ANOVA, Wald 검정)에 RESI 추정치를 원활하게 통합하는 R 패키지를 개발하기 위해.
• 효과 크기의 계산, 시각화, 다른 일반 효과 크기 지표로의 변환을 용이하게 하여 효과 크기의 광범위한 도입을 촉진하기 위해.
• 일致하고 강건한 지표를 제공함으로써 연구에서 효과 크기의 투명하고 해석 가능하며 재현 가능한 보고를 지원하기 위해.

제안 방법

• 테스트 통계량(F, t, Z, 카이제곱)과 자유도를 기반으로 RESI를 계산하며, 다양한 모델 유형 간 효과 크기를 표준화하는 변환을 사용한다.
• 작은 표본이나 비정규 오차가 존재할 경우에도 정확한 신뢰구간을 확보하기 위해 부트스트랩 기반의 신뢰구간 절차를 구현한다.
• 기존의 모델 요약 함수(예: summary.lm, anova)를 확장하여 출력 표에 직접 RESI 추정치와 신뢰구간을 첨부한다.
• 모델 기반 입력(e.g., 적합된 모델 객체)과 테스트 통계량, 자유도, 표본 크기의 직접 입력을 모두 지원한다.
• 시각화 함수(e.g., plot.resi)는 사용자 정의 가능한 여백과 텍스트 스케일링을 갖춘 레이블이 부여된 효과 크기 플롯을 생성한다.
• 변환 함수를 통해 RESI와 Cohens d, f², R²와 같은 다른 일반 효과 크기 지표 간의 상호 변환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형, ANOVA, 회귀 모델을 포함한 다양한 통계 모델 간에 단일하고 강건한 효과 크기 지표를 신뢰성 있게 추정할 수 있는가?
• RQ2 표준 오차가 이방성 또는 비정규일 경우에도 모델에 종속되지 않는 방식으로 효과 크기의 신뢰구간을 정확히 계산할 수 있는가?
• RQ3 RESI 패키지는 적용 통계 실무에서 효과 크기 보고의 접근성과 일관성을 어느 정도 향상시키는가?
• RQ4 다양한 자료 구조에서 Cohens d나 R²와 같은 전통적 효과 크기 측정법과 비교할 때 RESI의 해석 가능성과 강건성은 어떠한가?
• RQ5 다른 매개변수화 방식과 부수적 변수를 가진 연구 및 모델 간에 효과 크기를 비교하는 데 RESI를 효과적으로 사용할 수 있는가?

주요 결과

• RESI는 표본 크기나 모델 특이적 가정에 의존하지 않는 일관되고 모델에 종속되지 않는 효과 크기 추정치를 제공한다.
• 전체 선형 모델에 대한 RESI 추정치는 0.3595(95% 신뢰구간: 0.3205, 0.4214)였으며, 중간에서 큰 효과로 해석되어 실제 자료에서의 유용성을 보여준다.
• 패키지는 계수 표, ANOVA 표, 전체 Wald 검정에 이르기까지 표준 모델 요약에 RESI 추정치와 신뢰구간을 성공적으로 첨부한다.
• RESI는 Cohens d, f², R²와 같은 다른 일반 효과 크기 지표로 신뢰성 있게 변환될 수 있어 기존 문헌과의 호환성을 향상시킨다.
• 시각화 함수를 통해 사용자는 사용자 정의 레이블과 축 스케일링을 갖춘 RESI 추정치를 플롯할 수 있어 결과의 해석 가능성과 소통 능력이 향상된다.
• 패키지는 모델 기반 입력과 테스트 통계량 기반 입력을 모두 지원하여, 비표준 또는 신규 구현된 모델을 사용하는 사용자에게 유연성을 제공한다.