[논문 리뷰] Equivalence testing for linear regression

Harlan Campbell|arXiv (Cornell University)|2020. 04. 03.

Advanced Statistical Methods and Models인용 수 5

한 줄 요약

이 논문은 선형 회귀 분석을 위한 등가성 검정 절차를 소개하여 연구자가 예측변수와 결과변수 간의 유의미한 연관성이 없음을 통계적으로 확인할 수 있도록 한다. 비표준화 회귀 계수와 부분상관계수를 등가성 한계를 사용하여 검정하는 방법을 제안하며, p-값과 신뢰구간을 통해 미미한 효과를 평가함으로써, 영가설 유의성 검정(NHST)과 베이지안 방법의 대체로 자주 사용되는 응용 연구에서 유의미한 효과가 없는 경우를 결론 내릴 수 있도록 한다.

ABSTRACT

We introduce equivalence testing procedures for linear regression analyses. Such tests can be very useful for confirming the lack of a meaningful association between a continuous outcome and a continuous or binary predictor. Specifically, we propose an equivalence test for unstandardized regression coefficients and an equivalence test for semipartial correlation coefficients. We review how to define valid hypotheses, how to calculate p-values, and how these tests compare to an alternative Bayesian approach with applications to examples in the literature.

연구 동기 및 목표

• 선형 회귀 분석을 위한 표준화된 등가성 검정 방법이 부족한 데 대비하여, 널리 사용되는 통계 기법에서의 문제를 해결하고자 한다.
• 연구자가 예측변수와 결과변수 간의 의미 있는 연관성이 없음을 공식적으로 검정할 수 있도록 하여, 영가설 유의성 검정(NHST)이 영가설을 확인하지 못하는 논리적 결함을 해결하고자 한다.
• 연구자가 적절한 경우 '의미 있는 효과가 없음'을 결론 내릴 수 있도록, 영가설 유의성 검정(NHST)의 밀도론적 대안을 제공하고자 한다.
• 특히 임의의 척도나 해석이 어려운 척도를 사용할 때 등가성 한계를 정의하고 정당화할 수 있는 실용적인 도구를 제공하고자 한다.
• 실제 심리학 및 교육 연구에서의 사례를 바탕으로 제안된 밀도론적 등가성 검정과 베이지안 접근법을 비교하고자 한다.

제안 방법

• 정의된 등가성 한계 Δ를 사용한 두 개의 일방 검정 t-검정(TOST) 방법을 활용해 비표준화 회귀 계수를 위한 등가성 검정을 제안한다.
• 귀무가설을 H₀: θ ∉ (−Δ, Δ)로 정의하며, 여기서 θ는 회귀 계수이며, 효과 크기가 충분히 작아 미미한 것으로 간주될 수 있는지 검정한다.
• 다른 예측변수를 통제한 후 예측변수의 고유 기여도를 평가하기 위해 부분상관계수(SPC)를 위한 등가성 검정을 도입한다.
• TOST 절차를 사용해 등가성 검정의 p-값을 계산하며, 효과 크기의 신뢰구간을 활용해 그 값이 등가성 한계 내에 완전히 포함되는지 평가한다.
• 비표준화 및 부분상관계수 모두에 대해 p-값, 효과 크기, 등가성 검정을 계산할 수 있는 R 함수(예: `equivSR`, `equiv_corrZ`)를 제공한다.
• 밀도론적 등가성 검정 결과와 베이지안 인자(예: 베이즈 인자)를 사용한 결과를 비교하여, 두 방법 간 일관성과 해석 가능성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 등가성 검정을 사용하여 선형 회귀 분석에서 예측변수와 결과변수 간의 의미 있는 연관성이 없음을 공식적으로 검정할 수 있는가?
• RQ2 임의의 척도나 해석이 어려운 척도를 사용할 때 연구자가 등가성 한계 Δ를 어떻게 정의하고 정당화할 수 있는가?
• RQ3 동일한 회귀 모델에 대해 밀도론적 등가성 검정 결과와 베이지안 접근법의 p-값과 베이즈 인자 간에 결과가 어떻게 비교되는가?
• RQ4 실제 심리학 및 교육 분야의 데이터셋에서 등가성 검정이 미미한 효과를 탐지하는 데 얼마나 잘 성능을 발휘하는가?
• RQ5 다중 회귀 모델에서 공변량을 통제할 경우 등가성 검정 결과에 어떤 영향을 미치는가?

주요 결과

• 급여 데이터셋에서 성별 계수(β = 0.045)에 대한 등가성 검정 결과 p-값은 0.076였으며, 유의수준 α = 0.05에서 의미 있는 효과의 귀무가설을 기각하지 못해 효과가 미미할 수 있음을 시사한다.
• 마음가꾸기 연구에서 마음가꾸기 점수와 학습 목표 간의 부분상관계수는 r = 0.098이었고, 등가성 검정의 p-값은 0.016이었으며, 이는 효과가 확실히 미미할 가능성이 있음을 나타낸다.
• 마음가꾸기 연구에서 마음가꾸기 점수와 성과 회피 목표 간의 상관계수는 r = -0.109였고, 등가성 검정의 p-값은 0.027이었으며, 이는 효과가 -0.20의 등가성 한계 내에 있음을 시사한다.
• 레이븐 시험 점수에 대해 마음가꾸기 점수와의 부분상관계수는 r = -0.122였고, p-값은 0.000이었으며, 이는 Δ = 0.20 범위 내에서 등가성에 강력한 증거가 있음을 나타낸다.
• 인지 능력을 통제한 후, 마음가꾸기 점수와 회복력(Raven 시험) 간의 부분상관계수는 r = -0.055로 감소하였고, p-값은 0.000이었으며, 조정 후에도 여전히 등가성이 확인되었다.
• 마음가꾸기 연구에서의 베이즈 인자들은 몇몇 사례에서 영가설에 강력한 증거를 보였다(예: 순위에 대해 BF = 5.59e-21), 이는 밀도론적 등가성 검정 결과와 일치한다.