[논문 리뷰] The Anna Karenina principle: A concept for the explanation of success in science

Lutz Bornmann, Werner Marx|arXiv (Cornell University)|2011. 04. 05.

Interdisciplinary Research and Collaboration인용 수 6

한 줄 요약

이 논문은 과학적 성공을 설명하기 위한 프레임워크로 '안나 카레니나 원칙'을 제안한다. 성공은 자금, 동료 심사 승인, 인용, 인정과 같은 여러 핵심 조건을 동시에 충족해야 하며, 그중 하나라도 충족되지 않으면 실패하게 된다고 주장한다. 이 원칙은 행복한 가정은 모두 비슷하지만, 불행한 가정은 각각 다른 방식으로 실패한다는 톨스토이의 통찰에서 영감을 받으며, 과학적 성공이 다중 요인에 의존하는 필수 조건임을 설명한다.

ABSTRACT

The first sentence of Leo Tolstoy's novel Anna Karenina is: "Happy families are all alike; every unhappy family is unhappy in its own way." Here Tolstoy means that for a family to be happy, several key aspects must be given (such as good health of all family members, acceptable financial security, and mutual affection). If there is a deficiency in any one or more of these key aspects, the family will be unhappy. In this paper we introduce the Anna Karenina principle as a concept that can explain success in science. Here we will refer to three central areas in modern science in which scarce resources will most usually lead to failure: (1) peer review of research grant proposals and manuscripts (money and journal space as scarce resources), (2) citation of publications (reception as a scarce resource), and (3) new scientific discoveries (recognition as a scarce resource). If resources are scarce (journal space, funds, reception, and recognition), there can be success only when several key prerequisites for the allocation of the resources are fulfilled. If any one of these prerequisites is not fulfilled, the grant proposal, manuscript submission, the published paper, or the discovery will not be successful.

연구 동기 및 목표

• 과학적 성공이 단일 요인보다는 상호의존적인 여러 조건을 동시에 충족해야 하는지 설명하는 것.
• 강한 품질을 지닌 과학적 연구가 왜 일부 실패하는지, 반면 평균 수준의 연구가 성공하는지에 대한 역설을 설명하는 것.
• 과학적 성공 개념을 톨스토이의 가정에 대한 관찰과 유사한 다차원적 요구 조건으로 체계화하는 것.
• 자금, 저널 공간, 인용, 인정 등의 자원 부족이 모든 조건이 충족되어야 하는 필요성을 어떻게 증폭시키는지 분석하는 것.
• 과학 전 분야에 적용 가능한 개념적 프레임워크를 제공하여 성공과 실패의 체계적 성격을 이해하는 것.

제안 방법

• 톨스토이의 문학적 통찰—'모든 행복한 가정은 비슷하다; 각 불행한 가정은 각자의 방식으로 불행하다'—를 과학적 성공에 적용함.
• 성공이 여러 조건을 동시에 충족해야 하는 세 핵심 분야를 특정함: 정부 보조금, 동료 심사, 인용 및 인정.
• 과학적 성공을 모든 핵심 조건이 동시에 충족되어야 하는 시스템으로 모델링하며, 그중 하나라도 누락되면 실패함을 강조함.
• 가정과 같은 사회적 시스템에서 과학적 시스템(연구 결과)으로의 유사성 추론을 통해 원칙을 설명함.
• 실제 과학적 자원 배분에 원칙을 적용하여 공간, 자금, 인정의 부족함이 강조됨.
• 원칙이 과학에서 성공의 비선형적이고 전부 또는 없음의 성격을 설명함을 제안함.

실험 결과

연구 질문

• RQ1 왜 과학적으로 우수한 연구 제안서나 논문들이 높은 품질임에도 불구하고 실패하는가?
• RQ2 과학 자금 지원 및 출판 과정에서 높은 실패율을 설명하는 공통된 구조적 조건은 무엇인가?
• RQ3 과학적 성공이 다수의 동시에 충족되어야 하는 조건에 의존한다는 개념을 어떻게 설명할 수 있는가?
• RQ4 과학 분야에서 자원 부족이 모든 조건이 충족되어야 하는 필요성을 어떻게 증폭시키는가?
• RQ5 안나 카레니나 원칙이 과학 분야 전반에서 성공과 실패를 통합적으로 설명하는 데 얼마나 기여하는가?

주요 결과

• 과학적 성공은 단일 요인에 의해 결정되지 않고, 동료 심사 승인, 자금, 인용, 인정과 같은 다수의 조건이 동시에 충족되어야 한다.
• 과학적 실패는 단일 결함 때문이 아니라, 다른 모든 조건이 강력하더라도 하나의 조건만 누락되어도 발생한다.
• 이 원칙은 고급 연구가 여전히 실패할 수 있는 이유를 설명한다: 예를 들어 자금 부족이나 열악한 동료 심사와 같은 필수 조건이 충족되지 않으면 성공이 불가능해지기 때문이다.
• 이 모델은 자금, 저널 공간, 인정 등의 부족함이 강화되는 과학적 자원 배분의 체계적 성격을 부각시킨다.
• 안나 카레니나 원칙은 과학에서 성공의 비선형적이고 전부 또는 없음의 성격을 이해하는 통합적 개념적 렌즈를 제공한다.
• 이 프레임워크는 성공이 근본적으로 개선의 문제보다는 모든 핵심 차원에서 임계값을 충족해야 한다는 점을 시사한다.