[논문 리뷰] The piranha problem: Large effects swimming in a small pond

Christopher Tosh, Philip Greengard외 4명|arXiv (Cornell University)|2021. 05. 27.

Philosophy and History of Science인용 수 12

한 줄 요약

이 논문은 '피라냐 문제(piranha problem)'를 제안한다—다변량 시스템에서 한 개의 결과 변수에 대해 수많은 큰 영향을 미치는 요소들이 존재하는 것은 통계적으로 부도덕하다. 이는 설명 변수들이 매우 높은 상호의존성을 가져야만 가능한 일이다. 상관계수, 회귀, 상호정보 이론을 통해 이러한 효과들이 비현실적인 상호작용이나 의존성을 요구한다는 점을 입증하며, 많은 사회과학 연구에서 보고된 독립적인 큰 효과들의 타당성을 도전한다.

ABSTRACT

In some scientific fields, it is common to have certain variables of interest that are of particular importance and for which there are many studies indicating a relationship with different explanatory variables. In such cases, particularly those where no relationships are known among the explanatory variables, it is worth asking under what conditions it is possible for all such claimed effects to exist simultaneously. This paper addresses this question by reviewing some theorems from multivariate analysis showing that, unless the explanatory variables also have sizable dependencies with each other, it is impossible to have many such large effects. We discuss implications for the replication crisis in social science.

연구 동기 및 목표

• 다변량 시스템에서 한 개의 결과 변수에 대해 동시에 존재할 수 있는 큰 영향의 수에 대한 이론적 한계를 조사한다.
• 특히 복제 위기의 맥락에서 사회과학 연구에서 보고된 많은 큰 독립 효과들의 타당성을 도전한다.
• 상관계수, 회귀 계수, 상호정보에 대한 수학적 제약 조건을 정형화하여 큰 영향의 수를 제한한다.
• 한 개의 결과 변수에 대해 큰 독립 효과를 주장하는 연구 집단을 평가하기 위한 이론적 프레임워크를 제공한다.
• 변수 간의 의존성과 상호작용이 큰 안정된 효과들이 통계적으로 타당해지도록 하는 역할을 부각한다.

제안 방법

• 고정된 결과 변수 분산을 가진 시스템에서 다변량 분석의 수학적 정리를 유도하여 큰 영향의 수를 제약한다.
• 이 정리를 상관계수, 선형 회귀, 상호정보에 적용하여 큰 영향은 강한 의존성 또는 상호작용이 필요하다는 점을 입증한다.
• R² 분해를 사용하여 총 설명 분산이 1을 초과할 수 없음을 설명하며, 큰 영향의 수를 제한한다.
• 비선형 모델(예: 로지스틱 회귀)을 분석하여 여러 큰 독립 효과가 예측 확률을 극단적인 값(예: 0.01에서 0.99)으로 이동시켜 실제 적용 상황에서 비현실적이게 된다는 점을 보여준다.
• 다수의 큰 영향을 유지하기 위해서는 강한 음성 상호작용 또는 예측 변수 간에 높은 음성 상관관계가 필요하며, 이는 일반적인 사회과학 데이터에서는 흔하지 않다.
• 피라냐 문제의 실용적 해결책으로 '희박성에 베팅하기' 원칙과 계층적 사전분포(예: 말뚝형 분포)를 비유적으로 제안한다.

실험 결과

연구 질문

• RQ1 다변량 시스템에서 한 개의 결과 변수에 대해 여러 큰 영향이 동시에 공존할 수 있는 조건은 무엇인가?
• RQ2 설명 변수 간의 의존성이 선형 회귀 모델에서 큰 독립 효과의 타당성에 어떤 영향을 미치는가?
• RQ3 분산 분해와 R²는 시스템 내 큰 영향의 수에 대해 어떤 제약을 둔다?
• RQ4 왜 사회과학 연구에서 큰 독립 효과들이 상호작용 효과로 인해 종종 통계적으로 부도덕한가?
• RQ5 로지스틱 회귀와 같은 비선형 모델은 다수의 큰 독립 효과 존재를 어떻게 추가로 제약하는가?

주요 결과

• 설명 변수가 매우 높은 상호의존성을 가지지 않는 한, 한 개의 결과 변수에 대해 많은 수의 변수가 큰 독립 효과를 가지는 것은 수학적으로 부도덕하다.
• 회귀 모델의 총 R²는 1을 초과할 수 없으며, 이는 서로 상관관계가 있거나 강한 상호작용이 없는 한 큰 영향의 수를 제한한다.
• 로지스틱 회귀와 같은 비선형 모델에서는 여러 큰 독립 효과가 예측 확률을 극단적인 값(예: 0.01에서 0.99)으로 이동시켜 실제 적용 상황에서 비현실적이게 된다.
• 분산 또는 확률 제약 조건을 위반하지 않으면서 다수의 큰 영향을 유지할 수 있는 유일한 방법은 강한 음성 상호작용 또는 높은 음성 상관관계를 요구하며, 이는 사회과학 데이터에서 흔하지 않다.
• 이론적 제약 조건은 사회과학에서 널리 보고된 많은 큰 효과들이 고려되지 않은 의존성과 상호작용으로 인해 과대평가되거나 복제 불가능할 수 있음을 시사한다.
• 피라냐 문제(piranha problem)는 설명 변수 간 상관관계가 낮은 경우, 큰 독립 효과를 주장하는 연구 집단에 대한 회의주의의 이론적 근거를 제공한다.