[논문 리뷰] Scientific Utopia: II. Restructuring incentives and practices to promote truth over publishability

Brian A. Nosek, Jeffrey R. Spies외 1명|arXiv (Cornell University)|2012. 05. 18.

scientometrics and bibliometrics research인용 수 221

한 줄 요약

이 논문은 출판 가능성보다 진실과 정확성을 우선시하도록 과학적 인centives와 관행을 체계적으로 개혁할 것을 제안한다. 복제, 투명한 보고, 사전 등록과 같은 구조적 개혁을 주장함으로써 연구자의 동기를 과학적 정직성과 일치시켜 거짓 양성 결과를 줄이고 지식 축적을 향상시킨다.

ABSTRACT

An academic scientist's professional success depends on publishing. Publishing norms emphasize novel, positive results. As such, disciplinary incentives encourage design, analysis, and reporting decisions that elicit positive results and ignore negative results. Prior reports demonstrate how these incentives inflate the rate of false effects in published science. When incentives favor novelty over replication, false results persist in the literature unchallenged, reducing efficiency in knowledge accumulation. Previous suggestions to address this problem are unlikely to be effective. For example, a journal of negative results publishes otherwise unpublishable reports. This enshrines the low status of the journal and its content. The persistence of false findings can be meliorated with strategies that make the fundamental but abstract accuracy motive - getting it right - competitive with the more tangible and concrete incentive - getting it published. We develop strategies for improving scientific practices and knowledge accumulation that account for ordinary human motivations and self-serving biases.

연구 동기 및 목표

• 출판-또는-사라지는 문화로 인해 과학 문헌에서 흔히 발생하는 거짓 양성 결과 문제를 해결하기 위해.
• 현재의 인센티브가 복제 및 부정 결과보다 새로운 긍정적 결과를 우선시하는 방식으로 작용하는 방식을 분석하기 위해.
• 자기 이기적인 편향과 과대 효과 크기를 부추기는 과학 출판의 체계적 결함을 규명하기 위해.
• 진실 탐구를 출판 인센티브와 경쟁 가능한 방식으로 만드는 실용적이고 행동경제학에 기반한 개혁을 제안하기 위해.
• 제도적 및 문화적 변화를 통해 과학 지식 축적의 효율성과 신뢰성을 향상시키기 위해.

제안 방법

• p-해킹과 HARKing(결과를 알고 나서 가설을 세우는 것)을 줄이기 위해 연구의 사전 등록을 제안한다.
• 공식적 인정과 경력 인centives를 통해 복제 연구와 부정 결과를 보상할 것을 권고한다.
• 실패한 실험을 포함한 모든 데이터, 방법, 분석의 투명한 보고를 옹호한다.
• 출판 수에서 연구 품질, 재현 가능성, 투명성으로 평가 지표를 전환한다.
• 새로움과 영향력 지수보다 정확성과 진실 탐구를 중심으로 과학적 성공의 기준을 재정의한다.
• 엄격한 결과보다 화려한 결과를 우선시하는 것을 막기 위해 새로운 저널, 자금 지원 모델, 정직한 평가 기준 등 제도적 개혁을 제안한다.

실험 결과

연구 질문

• RQ1 현재의 학술 인센티브는 어떻게 체계적으로 새로운 긍정적 결과를 정확하고 재현 가능한 결과보다 우선시하는가?
• RQ2 부정 결과 전용 저널과 같은 전통적 해결책이 출판 편향을 수정하는 데 부족한 이유는 무엇인가?
• RQ3 진실을 '옳게 하려는' 동기가 '출판하려는' 동기만큼 강력하게 만들 수 있는 구조적 변화는 무엇인가?
• RQ4 제도적 설계를 통해 연구자의 자기 이기적 편향을 어떻게 완화할 수 있는가?
• RQ5 과학 지식 생산의 신뢰성과 효율성을 가장 효과적으로 향상시키기 위한 개혁은 무엇인가?

주요 결과

• 현재의 출판 기준은 긍정적이고 새로운 결과를 내기 위한 강력한 동기를 만들어내어, 출판된 과학 연구에서 거짓 양성 결과 비율이 과도하게 높아지게 한다.
• 부정 결과 전용 저널은 존중받는 것으로 여겨지지 않아 명성가질 수 없어, 비긍정적 결과에 대한 낙인을 강화한다.
• 사전 등록과 투명한 보고 방식은 연구자에게 주어진 자유도를 크게 줄이고 연구의 신뢰성을 향상시킨다.
• 복제와 방법론적 엄격함을 보상하는 인센티브 구조는 신제품 중심의 편향을 상쇄하고 과학적 신뢰성을 높일 수 있다.
• 출판 수에서 연구 품질과 재현 가능성으로 평가 기준을 전환하면 과학 지식의 장기적 정확성이 향상된다.
• 개인의 인센티브를 진실 탐구와 일치시키는 체계적 개혁은 과학적 진전을 더 효율적이고 신뢰할 수 있게 만들 수 있다.