[論文レビュー] Quantifying the distribution of editorial power and manuscript decision bias at the mega-journal PLOS ONE

Alexander M. Petersen|arXiv (Cornell University)|Jan 18, 2017

scientometrics and bibliometrics research参考文献 20被引用数 5

ひとこと要約

本研究は、PLOS ONEの編集者6,934名の10年間の縦断的データを用いて、編集権力の不平等と意思決定バイアスを定量的に評価した。上位10名の編集者が全記事の2.4％を担当しており（ジニ係数0.583）、社会的つながりや自己引用と関連する顕著なバイアスが認められ、編集者の年齢が上昇するにつれてその影響が拡大している。これは、メガジャーナルにおける科学的整合性に深刻なシステム的リスクをもたらす可能性を示唆している。

ABSTRACT

We analyzed the longitudinal activity of nearly 7,000 editors at the mega-journal PLOS ONE over the 10-year period 2006-2015. Using the article-editor associations, we develop editor-specific measures of power, activity, article acceptance time, citation impact, and editorial renumeration (an analogue to self-citation). We observe remarkably high levels of power inequality among the PLOS ONE editors, with the top-10 editors responsible for 3,366 articles -- corresponding to 2.4% of the 141,986 articles we analyzed. Such high inequality levels suggest the presence of unintended incentives, which may reinforce unethical behavior in the form of decision-level biases at the editorial level. Our results indicate that editors may become apathetic in judging the quality of articles and susceptible to modes of power-driven misconduct. We used the longitudinal dimension of editor activity to develop two panel regression models which test and verify the presence of editor-level bias. In the first model we analyzed the citation impact of articles, and in the second model we modeled the decision time between an article being submitted and ultimately accepted by the editor. We focused on two variables that represent social factors that capture potential conflicts-of-interest: (i) we accounted for the social ties between editors and authors by developing a measure of repeat authorship among an editor's article set, and (ii) we accounted for the rate of citations directed towards the editor's own publications in the reference list of each article he/she oversaw. Our results indicate that these two factors play a significant role in the editorial decision process. Moreover, these two effects appear to increase with editor age, which is consistent with behavioral studies concerning the evolution of misbehavior and response to temptation in power-driven environments.

研究の動機と目的

• PLOS ONEの6,934名の編集者における10年間（2006–2015年）の編集権力の分配を定量的に測定すること。
• 繰り返しの著者や編集者自身の論文への引用といった社会的要因が、論文の意思決定に与える影響を調査すること。
• 編集者の年齢と意思決定バイアスの相関関係を検証し、権力と誘惑に関する行動理論を検証すること。
• 編集者報酬（引用インパクト）の定量的指標を構築し、影響力の乱用の可能性を評価すること。
• システム的リスクを特定し、透明性と監視の改革を提言することで、科学政策に貢献すること。

提案手法

• 141,986件のPLOS ONEの論文を対象に、論文、編集者、著者、引用を結びつける縦断的で多段階のデータベースを構築した。
• 編集者固有の指標を定義した：権力（担当論文数）、活動度（総論文数）、受諾時間、引用インパクト、および「編集者報酬」（監修する論文における自己引用率）。
• 編集者固定効果を用いたパネル回帰モデルを適用し、論文を編集者ごとにクラスタリングすることで、個々の時間的傾向を分離した。
• 二つの利益相反の指標を組み込んだ：(1) 繰り返し著者の存在（R_A,E = 1）、(2) 各論文における編集者自身の論文への引用率。
• ジニ係数（0.583）を用いて権力の不平等を定量的に評価し、編集者の年齢との非線形な傾向を検証した。
• 繰り返し著者がいる・いない論文の引用率を比較することで、引用報酬を推定し、下限として数百件の引用を特定した。

実験結果

リサーチクエスチョン

• RQ1 PLOS ONEの編集者間における編集権力の分配はどの程度不平等であり、世界的な富の不平等と比較してどうか？
• RQ2 著者と編集者の間の社会的つながり（繰り返し著者による測定）が、論文の受諾時間や引用インパクトに顕著に影響を与えるか？
• RQ3 編集者が監修する論文において、自身の論文をより多く引用するという測定可能なバイアスは存在するか？また、編集者の年齢によってその傾向は変化するか？
• RQ4 編集者の年齢と意思決定バイアスの強度との相関関係は何か？これは、権力下での不正行為の進化に何を示唆するか？
• RQ5 引用パターンが「編集者報酬」の代理指標としてどの程度有効か？その効果の推定規模は何か？

主な発見

• 上位10名の編集者が3,366件の論文（全141,986件の2.4％）を担当しており、編集権力分配のジニ係数は0.583であり、高所得不平等国と同等の極めて高い不平等を示している。
• 繰り返し著者がいる論文は、著者がいない場合に比べて有意に早く受諾されており、バイアスの戦略的タイミングが示唆される。
• 編集者は監修する論文において、自身の論文をより多く引用しており、その引用バイアスは編集者の年齢が上昇するにつれて増大しており、誘惑と権力に関する行動モデルを支持する。
• 自己引用および同僚による引用に起因する引用報酬の推定効果は、下限として数百件の引用に達しており、バイアスに基づく意思決定による実質的な利益が確認された。
• 自己引用および同僚の引用による編集者報酬は、編集者が影響力を得る定量的メカニズムとして特定可能であり、メガジャーナルの査読における整合性に懸念を呈する。
• 結果は、編集者割り当ての透明性にもかかわらず、システム的バイアスが依然として存在することを示しており、権力の集中は特に大規模編集システムにおいて、無関心や不正行為を引き起こす可能性がある。