[논문 리뷰] Inferential statistics, power estimates, and study design formalities continue to suppress biomedical innovation

Scott E. Kern|arXiv (Cornell University)|2014. 11. 04.

Health and Medical Research Impacts참고 문헌 23인용 수 4

한 줄 요약

이 논문은 추론 통계, 검정력 계산 및 엄격한 연구 설계에 대한 과도한 의존이 생물의학 분야의 혁신을 억제하며, 보수적이고 확인적인 연구를 탐욕스럽게 선호함으로써 도전적이고 탐색적인 과학을 억압한다고 주장한다. 저자는 피어 리뷰 및 자금 지원 절차를 개혁하여 빠르고 가설 생성 중심의 연구를 우선시함으로써 고영향도 발견의 가능성을 높이고자 한다.

ABSTRACT

Innovation is the direct intended product of certain styles in research, but not of others. Fundamental conflicts between descriptive vs inferential statistics, deductive vs inductive hypothesis testing, and exploratory vs pre-planned confirmatory research designs have been played out over decades, with winners and losers and consequences. Longstanding warnings from both academics and research-funding interests have failed to influence effectively the course of these battles. The NIH publicly studied and diagnosed important aspects of the problem a decade ago, resulting in outward changes in the grant review process but not a definitive correction. Specific reforms could deliberately abate the damage produced by the current overemphasis on inferential statistics, power estimates, and prescriptive study design. Such reform would permit a reallocation of resources to historically productive rapid exploratory efforts and considerably,increase the chances for higher-impact research discoveries. We can profit from the history and foundation of these conflicts to make specific recommendations for administrative objectives and the process of peer review in decisions regarding research funding. (C) 2013 S. Kern

연구 동기 및 목표

• 추론 통계와 공식적인 연구 설계 요구사항에 대한 과도한 강조로 인해 지속적으로 억제되는 생물의학 분야의 혁신 문제를 해결하기 위해.
• 생물의학 과학에서 탐색적(인덕티브) 연구와 확인적(연역적) 연구 접근 방식 간의 오랜 기간 지속된 갈등을 부각하기 위해.
• NIH가 10년 전에 내린 진단과 같은 기관의 개혁이 자금 지원 및 심사 관행에 실질적인 변화를 가져오지 못한 실패를 비판하기 위해.
• 사전 계산된 검정력과 추론 통계에 대한 강조를 줄이고, 사전 규정된 설계보다는 빠르고 탐색적인 연구를 우선시하는 관리 및 피어 리뷰 개혁을 주장하기 위해.
• 역사적으로 성공적인 고영향도 탐색적 노력에 자원을 재할당할 수 있도록 하기 위해.

제안 방법

• 생물의학 연구에서술술 설명 통계와 추론 통계 간의 역사적이고 체계적인 갈등 분석하기.
• 인도크티브(탐색적)와 디덕티브(확인적) 가설 검증 프레임워크 간의 대비 분석하기.
• 사전 규정된 연구 설계 형식이 연구 혁신과 자금 지원 결정에 끼치는 영향 평가하기.
• 검정력 추정치와 추론 통계에 대한 강조를 줄이기 위해 피어 리뷰 및 보조금 평가 절차의 관리 개혁 제안하기.
• 역사적으로 주요 발견을 이끌어낸 빠르고 탐색적인 연구 모델을 우선시하는 자금 지원 우선순위의 전환 권고하기.
• 역사적 사례와 기관의 실패를 바탕으로 연구 평가의 체계적 변화를 정당화하기.

실험 결과

연구 질문

• RQ1 왜 수십 년에 걸친 경고에도 불구하고 추론 통계와 검정력 추정치에 대한 과도한 강조가 생물의학 혁신을 억제해 왔는가?
• RQ2 탐색적 연구 설계와 확인적 연구 설계 간의 갈등이 생물의학 발견의 방향성에 어떻게 영향을 미치는가?
• RQ3 NIH와 같은 기관의 개혁이 연구 자금 지원 및 평가의 체계적 문제를 얼마나 효과적으로 해결했는가?
• RQ4 피어 리뷰 및 행정 정책에 어떤 특정한 변화가 고영향도 탐색적 연구의 성공률을 높일 수 있는가?
• RQ5 형식적인 연구 설계 요구사항에서 빠르고 탐색적인 연구로 자원을 재할당하면 혁신 결과는 어떻게 향상될 수 있는가?

주요 결과

• 현재 추론 통계와 검정력 추정치에 대한 강조는 낮은 위험도의 확인적 연구를 선호함으로써 고영향도 생물의학 혁신을 체계적으로 억제하고 있다.
• NIH가 10년 전에 내린 진단에도 불구하고, 보조금 심사 절차나 자금 배분에 대한 명백한 수정이 이루어지지 않았다.
• 탐색적 연구와 확인적 연구 스타일 간의 갈등은 여전히 지속되고 있으며, 형식적인 심사 기준으로 인해 후자가 지배하고 있다.
• 사전 규정된 연구 설계와 검정력 계산에 대한 의존도를 줄이는 개혁은 역사를 통해 성공한 빠르고 탐색적인 연구에 자원을 재할당할 수 있도록 할 수 있다.
• 피어 리뷰 및 자금 지원 결정에 대한 관리적 변화는 고영향도 발견의 성공 가능성을 크게 높일 수 있다.
• 논문은 생물의학 과학의 혁신을 복원하기 위해 연구 평가의 체계적 변화가 필요하다고 결론 내린다.