[논문 리뷰] Simple arithmetic versus intuitive understanding: The case of the impact factor

Ronald Rousseau, Loet Leydesdorff|UvA-DARE (University of Amsterdam)|2011. 02. 13.

scientometrics and bibliometrics research참고 문헌 16인용 수 7

한 줄 요약

이 논문은 비인용 기사가 추가될 경우 영향력 지수의 비직관적인 행동 양식이 나타나는 이유를 기초적인 산술 성질 때문임을 보여준다 — 특히, 인용이 불가능한 항목을 추가하면 오히려 영향력 지수가 증가할 수 있다는 모순적인 현상이다. 저자들은 이러한 항목이 영향력 지수 계산에서 제외되어야 해석의 일관성을 유지할 수 있다고 주장한다.

ABSTRACT

We show that as a consequence of basic properties of elementary arithmetic journal impact factors show a counterintuitive behaviour with respect to adding non-cited articles. Synchronous as well as diachronous journal impact factors are affected. Our findings provide a rationale for not taking uncitable publications into account in impact factor calculations, at least if these items are truly uncitable.

연구 동기 및 목표

• 비인용 기사가 추가될 경우 영향력 지수의 수학적 행동을 조사하기 위해.
• 영향력 지수 계산에 인용이 불가능한 항목이 포함될 때 발생하는 비직관적인 산술적 영향을 드러내기 위해.
• 영향력 지수 계산에 인용이 불가능한 출판물을 포함시키는 관행을 도전하기 위해.
• 측정의 신뢰성을 유지하기 위해 진정으로 인용이 불가능한 항목을 영향력 지수 공식에서 제외할 것을 주장하기 위해.
• 산술적 메커니즘과 직관적 이해 사이의 차이를 명확히 하기 위해.

제안 방법

• 영향력 지수 공식의 수학적 구조 분석: IF = (연도 Y에서 Y-1 및 Y-2년에 출간된 기사에 대한 인용 수) / (Y-1 및 Y-2년의 인용 가능 항목 수).
• 영향력 지수 공식의 분모에 비인용 기사(즉, 인용 수가 0인 항목)를 추가하는 영향 모델링.
• 인용이 추가되지 않았음에도 불구하고 비인용 항목을 추가하면 영향력 지수가 증가할 수 있음을 입증하기 위해.
• 동기적(동일 연도) 및 이질적(다른 연도 간) 영향력 지수 공식을 사용하여 결과를 일반화하기 위해.
• 영향력 지수가 비인용 항목 추가에 대해 단조롭지 않음을 보여주기 위해 기초적인 산술 원리를 적용하기 위해.
• 수학적 유도와 수치적 예시를 통해 산술과 직관 사이의 괴리를 부각시켜 모순을 시각화하기 위해.

실험 결과

연구 질문

• RQ1 비인용 기사를 영향력 지수 공식의 분모에 추가하면 저널의 영향력 지수 값에 어떤 영향을 미치는가?
• RQ2 왜 인용이 불가능한 항목의 포함이 영향력 지수 값의 비직관적인 변화를 유도하는가?
• RQ3 영향력 지수 공식의 기초적인 산술 성질이 그 해석 가능성에 어느 정도까지 약화시키는가?
• RQ4 인용이 추가되지 않았을 때 어떤 조건에서 영향력 지수가 증가하는가?
• RQ5 측정의 타당성을 유지하기 위해 인용이 불가능한 출판물을 영향력 지수 계산에서 제외해야 하는가?

주요 결과

• 영향력 지수 공식의 분모에 비인용 기사를 추가하면, 인용이 추가되지 않았음에도 불구하고 영향력 지수가 증가할 수 있다.
• 이 비직관적인 행동은 동기적 및 이질적 영향력 지수 공식 모두에서 발생한다.
• 이 효과는 나눗셈의 수학적 성질에서 기인한다: 분모에 인용 수가 0인 항목을 추가하면 분자가 그대로 유지될 경우 전체 분수의 크기가 줄어들 수 있다.
• 이 현상은 산술적 메커니즘과 저널 성과에 대한 직관적 기대 사이의 근본적인 괴리를 드러낸다.
• 이러한 발견은 진정으로 인용이 불가능한 항목을 영향력 지수 계산에서 제외함으로써 오해의 소지를 피할 수 있음을 뒷받침한다.
• 논문은 이러한 제외 조치가 수학적으로도 개념적으로도 타당하다는 이론적 근거를 제공한다.