[논문 리뷰] Big Macs and Eigenfactor Scores: Don't Let Correlation Coefficients Fool You

Jevin D. West, Théodore C. Bergstrom외 1명|arXiv (Cornell University)|2009. 11. 10.

scientometrics and bibliometrics research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 Eigenfactor와 Impact Factor와 같은 문헌지표 간의 높은 상관관계가 중복 정보를 의미한다는 가정을 도전한다. Big Mac 비유와 Journal Citation Reports의 실증 분석을 통해 상관관계가 0.95임에도 불구하고, Eigenfactor는 상대적 저널 순위와 카디널 값에서 독특한 명성 역학을 포착함으로써 전통적 지표와 가치 있는 보완이 된다고 밝힌다.

ABSTRACT

The Eigenfactor Metrics provide an alternative way of evaluating scholarly journals based on an iterative ranking procedure analogous to Google's PageRank algorithm. These metrics have recently been adopted by Thomson-Reuters and are listed alongside the Impact Factor in the Journal Citation Reports. But do these metrics differ sufficiently so as to be a useful addition to the bibliometric toolbox? Davis (2008) has argued otherwise, based on his finding of a 0.95 correlation coefficient between Eigenfactor score and Total Citations for a sample of journals in the field of medicine. This conclusion is mistaken; here we illustrate the basic statistical fallacy to which Davis succumbed. We provide a complete analysis of the 2006 Journal Citation Reports and demonstrate that there are statistically and economically significant differences between the information provided by the Eigenfactor Metrics and that provided by Impact Factor and Total Citations.

연구 동기 및 목표

• 높은 상관관계로 인해 Eigenfactor 점수가 Impact Factor 또는 총 인용 횟수와 중복된다는 주장에 반박하기 위해.
• 문헌지표 분야에서 높은 상관관계를 정보 동일성과 동일시하는 통계적 오류를 드러내기 위해.
• Eigenfactor가 단순한 인용 횟수를 넘어서 저널 명성의 유일한 측면을 포착한다는 것을 입증하기 위해.
• 상관계 계수보다 순서형 및 카디널 순위 변화를 더 나은 지표로 삼아 지표 간 이질성을 평가하기 위해.
• 요약 통계량만으로는 부족하고, 데이터 시각화와 중앙값 기반 비교를 통해 더 유의미한 정보를 제공함을 주장하기 위해.

제안 방법

• 2006년 Journal Citation Reports 데이터를 분석하여, 저널 간 Eigenfactor, Impact Factor, Article Influence, 총 인용 횟수를 비교한다.
• 빅맥 비유를 사용하여, 예를 들어 버거 가격과 급여 간의 명목 변수 간 높은 상관관계가 실질적 구매력의 의미 있는 변동을 가리킬 수 있음을 설명한다.
• 특히 상위 및 하위 저널에서의 순서형 순위 변화와 카디널 점수 차이를 통해 지표 간 순위 비교를 수행한다.
• 비교 플롯(예: 그림 4)을 통해 표준 산점도보다 순위 이동을 더 잘 드러내는 방식으로 지표의 불일치를 시각화한다.
• 예를 들어 상위 3분의 1과 하위 3분의 1 저널 간 중앙값 '인용당 성과'를 비교하여, 상관관계에 의해 가려진 구조적 차이를 드러낸다.

실험 결과

연구 질문

• RQ1 Impact Factor와 총 인용 횟수 간 상관관계가 매우 높을 경우(예: r=0.955), 두 지표가 저널 명성에 대해 동일한 정보를 제공하는가?
• RQ2 Eigenfactor와 Impact Factor 또는 Article Influence로 평가할 때 저널 순위는 순서형 및 카디널 위치 측면에서 어떻게 다를까?
• RQ3 왜곡된 상관관계가 문헌지표의 유용성 판단을 잘못 이끌 수 있는가?
• RQ4 데이터 시각화와 중앙값 기반 비교는 상관계수에 의해 가려진 지표 간의 의미 있는 차이를 드러낼 수 있는가?
• RQ5 Article Influence 점수가 Impact Factor보다 Eigenfactor와 더 적절한 비교 대상인 이유는 무엇인가? 특히 저널 규모에 따라 다른 척도를 가지기 때문이다.

주요 결과

• Impact Factor와 Article Influence 간 상관계수가 0.955임에도 불구하고, General Internal Medicine 저널은 순위가 18계단 상승했고, Pain Medicine는 35계단 하락하여 상당한 순위 재편이 일어났다.
• Eigenfactor 기준 상위 3분의 1 저널의 중앙값 '인용당 성과'는 하위 3분의 1 저널보다 약 2.4배 높아, 인식된 명성의 상당한 차이를 드러낸다.
• Nature Medicine는 Impact Factor와 Article Influence에서 모두 2위를 유지하지만, Article Influence 기준으로는 명성 인식도가 상당히 향상되어, 순서형 순위는 유지되더라도 카디널 값의 차이가 있음을 보여준다.
• 실제 급여의 표준편차는 평균의 62%에 이르며, 이는 버거 가격과 급여 간 높은 명목 상관관계(ρ=0.99)가 실질적 변동을 가리키는 데서 유의미한 차이를 숨기고 있음을 시사한다.
• 순서형 순위 변화는 주로 중간 및 하위 저널에서 두드러지며, 상위 저널은 순위 재편이 거의 없어, 인용 횟수가 예측력이 떨어지는 곳일수록 지표 간 이질성이 더 크다는 것을 보여준다.
• 상관계수만으로는 지표의 유용성을 평가하기 부적절하며, 지표 간의 실제 가치 평가 방식의 의미 있는 차이를 가려내는 데 실패한다.