[논문 리뷰] Quantifying the distribution of editorial power and manuscript decision bias at the mega-journal PLOS ONE

Alexander M. Petersen|arXiv (Cornell University)|2017. 01. 18.

scientometrics and bibliometrics research참고 문헌 20인용 수 5

한 줄 요약

이 연구는 6,934명의 편집위원들이 10년간 기록한 종단적 데이터를 바탕으로 PLOS ONE에서 편집권력의 불균형과 결정 편향을 정량화한다. 최상위 10명의 편집위원이 전체 기사의 2.4%를 처리했으며, 지니계수 0.583로 극도로 집중된 권력 분포를 보이며, 사회적 유대관계와 자기인용과 연관된 유의미한 편향이 존재함을 밝혀내며, 이는 편집위원의 연령 증가와 함께 증가함을 확인하여 메가저널의 과학적 신뢰성에 대한 체계적 위험을 시사한다.

ABSTRACT

We analyzed the longitudinal activity of nearly 7,000 editors at the mega-journal PLOS ONE over the 10-year period 2006-2015. Using the article-editor associations, we develop editor-specific measures of power, activity, article acceptance time, citation impact, and editorial renumeration (an analogue to self-citation). We observe remarkably high levels of power inequality among the PLOS ONE editors, with the top-10 editors responsible for 3,366 articles -- corresponding to 2.4% of the 141,986 articles we analyzed. Such high inequality levels suggest the presence of unintended incentives, which may reinforce unethical behavior in the form of decision-level biases at the editorial level. Our results indicate that editors may become apathetic in judging the quality of articles and susceptible to modes of power-driven misconduct. We used the longitudinal dimension of editor activity to develop two panel regression models which test and verify the presence of editor-level bias. In the first model we analyzed the citation impact of articles, and in the second model we modeled the decision time between an article being submitted and ultimately accepted by the editor. We focused on two variables that represent social factors that capture potential conflicts-of-interest: (i) we accounted for the social ties between editors and authors by developing a measure of repeat authorship among an editor's article set, and (ii) we accounted for the rate of citations directed towards the editor's own publications in the reference list of each article he/she oversaw. Our results indicate that these two factors play a significant role in the editorial decision process. Moreover, these two effects appear to increase with editor age, which is consistent with behavioral studies concerning the evolution of misbehavior and response to temptation in power-driven environments.

연구 동기 및 목표

• PLOS ONE의 6,934명의 편집위원들 간 편집권력 분포를 10년간의 기간(2006–2015) 동안 정량화한다.
• 편집위원의 자신의 논문에 대한 반복적 저자 활동 및 인용 여부와 같은 사회적 요인이 기고물 결정에 영향을 미치는지 조사한다.
• 편집위원의 연령과 결정 편향 간 상관관계를 분석하여 권력과 유혹에 관한 행동 이론을 시험한다.
• 편집위원 보상의 정량적 지표(인용 영향력)를 개발하고, 영향력 남용 가능성을 평가한다.
• 메가저널의 편집 거버넌스에서 발생하는 체계적 위험을 규명하고 투명성 및 감시 제도 개선을 제안함으로써 과학 정책에 기여한다.

제안 방법

• 141,986편의 PLOS ONE 기사에 걸쳐 기사, 편집위원, 저자, 인용 정보를 연결한 종단적이고 다층적인 데이터베이스를 구축하였다.
• 편집위원별 지표를 정의: 권력(처리한 기사 수), 활동량(총 기사 수), 수용 시간, 인용 영향력, 및 '편집위원 보상'(편집위원이 감독하는 기사에서의 자기인용 비율).
• 편집위원 고정효과를 포함한 패널 회귀 모델을 적용하여 시간에 따른 개인 수준의 추세를 분리하고, 기사들을 편집위원별로 군집화하였다.
• 이중 이해관계 지표를 통합: (1) 반복 저자 존재 여부(R_A,E = 1), 및 (2) 각 기사에서 편집위원 자신의 논문에 대한 인용 비율.
• 지니계수(0.583)를 사용해 권력 불균형을 정량화하고, 편집위원 연령과의 비선형 추세를 시험하였다.
• 반복 저자가 포함된 기사와 포함되지 않은 기사의 인용률을 비교하여 인용 보상도 추정하였으며, 이는 수백 개의 인용을 하한선으로 삼는다.

실험 결과

연구 질문

• RQ1 PLOS ONE 편집위원들 간 편집권력 분포는 어느 정도 불균형하게 이루어져 있으며, 이는 전 세계적 부의 불균형과 비교해 볼 때 어떻게 평가될 수 있는가?
• RQ2 편집위원과 저자 간의 사회적 유대관계—반복 저자 활동으로 측정—이 기고물 수용 시간이나 인용 영향력에 유의미하게 영향을 미치는가?
• RQ3 편집위원이 자신이 감독하는 기사에서 자신의 논문을 더 자주 인용하는 측면에서 측정 가능한 인용 패턴 편향이 존재하는가? 이는 편집위원의 연령에 따라 어떻게 변화하는가?
• RQ4 편집위원의 연령은 결정 편향의 강도와 어떻게 상관관계가 있으며, 이는 권력 하에서 비윤리적 행동이 어떻게 진화하는지를 어떻게 시사하는가?
• RQ5 인용 패턴이 '편집위원 보상'의 대체 지표로 얼마나 유의미하게 기능할 수 있으며, 이 효과의 추정 크기는 얼마인가?

주요 결과

• 상위 10명의 편집위원이 총 141,986편의 기사 중 3,366편(2.4%)을 처리하였으며, 편집권력 분포의 지니계수는 0.583로, 고부유도 국가 수준의 극도로 높은 불균형을 나타내며, 이는 전 세계 부의 불균형과 유사하다.
• 반복 저자가 포함된 기사들은 유의미하게 더 빨리 수용되었으며, 반복 저자가 없는 경우에 더 강한 경향을 보이며, 이는 편향적 의사결정을 위한 전략적 시간 조절을 시사한다.
• 편집위원은 자신이 감독하는 기사에서 자신의 논문을 더 자주 인용하며, 이 인용 편향은 편집위원의 연령 증가와 함께 증가함을 확인하여, 권력과 유혹에 관한 행동 이론을 지지한다.
• 인용 보상 효과의 추정치—사회적 유대 및 자기인용에 기인한 요소—는 하한선으로서 수백 개의 인용을 기록하며, 편향된 결정에 의한 실질적 이득이 있음을 시사한다.
• 자기인용 및 동료인용을 통한 편집위원 보상은 편집위원이 영향력을 확보할 수 있는 정량화 가능한 메커니즘이며, 메가저널의 동료심사에서의 신뢰성에 대한 우려를 제기한다.
• 결과는 편집위원 할당의 투명성에도 불구하고 체계적 편향이 지속되며, 권력 집중이 특히 대규모 편집 시스템에서 무관심이나 부정행위로 이어질 수 있음을 시사한다.