[논문 리뷰] The Operationalization of "Fields" as WoS Subject Categories (WCs) in Evaluative Bibliometrics: The cases of "Library and Information Science" and "Science & Technology Studies"

Loet Leydesdorff, Lutz Bornmann|arXiv (Cornell University)|2014. 07. 29.

scientometrics and bibliometrics research참고 문헌 47인용 수 12

한 줄 요약

이 논문은 평가적 연구에서 국립정보학 및 과학·기술연구 분야의 인용 정규화를 위한 기준 집합으로 웹 오브 사이언스 주제 분류(WCs)의 사용을 비판하며, 색인자 영향과 일관성 없는 분류로 인해 신뢰성이 떨어지므로, 특히 정보학 및 과학·기술연구 분야에서 문제가 된다고 밝힌다. 연구는 알고리즘 기반 클러스터링이나 전문 색인어를 활용한 개선된 분류 방법을 통해 '최선의 관행'에서 '가장 가능한 최선의 관행'으로의 전환을 주장하며, 평가 정확성과 타당성을 향상시킨다.

ABSTRACT

Normalization of citation scores using reference sets based on Web-of-Science Subject Categories (WCs) has become an established ("best") practice in evaluative bibliometrics. For example, the Times Higher Education World University Rankings are, among other things, based on this operationalization. However, WCs were developed decades ago for the purpose of information retrieval and evolved incrementally with the database; the classification is machine-based and partially manually corrected. Using the WC "information science & library science" and the WCs attributed to journals in the field of "science and technology studies," we show that WCs do not provide sufficient analytical clarity to carry bibliometric normalization in evaluation practices because of "indexer effects." Can the compliance with "best practices" be replaced with an ambition to develop "best possible practices"? New research questions can then be envisaged.

연구 동기 및 목표

• 평가적 연구에서 웹 오브 사이언스 주제 분류(WCs)가 국립정보학 정규화 기준 집합으로서의 신뢰성을 검토하는 것.
• 색인자 영향과 일관성 없는 분류로 인해 발생하는 WC 기반 정규화의 체계적 결함을 특정하는 것.
• WC가 기관 또는 개인 간 인용 영향력을 비교하기 위한 안정적이고 분야별 기반을 제공한다는 가정을 도전하는 것.
• 알고리즘 기반 클러스터링이나 전문 색인어와 같은 보다 견고한 방법을 통해 국립정보학 평가에서 기준 집합을 정의하는 데 대안을 제안하는 것.
• 기존의 '최선의 관행'에서 연구 기반의 더 엄격한 '최선의 가능한 관행'으로의 전환을 촉진하는 것.

제안 방법

• 웹 오브 사이언스 데이터베이스에서 WCs의 운영화를 분석하며, 정보 검색 도구로 개발된 역사를 중심으로 평가 기준이 아닌 것으로 강조한다.
• '정보학 및 국립정보학'과 '과학·기술연구(STEM)' 분야의 저널 분류를 비교하여 기준 집합의 일관성과 통합성을 평가한다.
• 저널에 대한 다수의 중첩되거나 모호한 WCs가 정규화 결과에 미치는 영향, 특히 다학제적 분야에서의 영향을 평가한다.
• 기존 정규화 방법(CPP/Fcsm 및 MNCS)을 검토하며, WC 기반 저널 분류에 대한 의존성으로 인한 한계를 제기한다.
• 알고리즘 기반 클러스터링(예: 레이든 랭킹에서 사용됨)과 전문 색인어(예: MeSH, Chemical Abstracts)를 활용한 기준 집합 생성의 대안 방법을 제안한다.
• 각 방법의 상충 요소를 논의하며, 재현 가능성, 검증 가능성, 인용 기반 정규화의 '이중 인용 창' 문제 등을 다룬다.

실험 결과

연구 질문

• RQ1 웹 오브 사이언스 주제 분류(WCs)가 평가적 연구에서 국립정보학 정규화를 위한 안정적이고 분석적으로 통합된 기초를 제공하는 데 어느 정도 기여하는가?
• RQ2 색인자 영향과 WCs 내 저널의 일관성 없는 분류로 인해 국립정보학 및 과학·기술연구 분야에서 인용 정규화의 타당성이 어떻게 손상되는가?
• RQ3 원래 정보 검색을 목적으로 설계된 WCs에 대한 현재의 의존성이 현대 평가적 국립정보학에 어떻게 문제가 되는가?
• RQ4 알고리즘 기반 분야(예: 레이든 랭킹에서 사용됨)의 한계는 해석 가능성, 검증 가능성, 재현 가능성 측면에서 무엇인가?
• RQ5 전문 색인어나 인용 기반 클러스터링과 같은 대체 기준 집합 정의 방식이 WC 기반 접근보다 더 신뢰성 있고 타당성이 있는 정규화를 제공할 수 있는가?

주요 결과

• 웹 오브 사이언스 주제 분류(WCs)는 평가적 국립정보학을 위해 설계되지 않았으며, 심각한 색인자 영향을 보이며, 정규화 기준 집합으로서의 신뢰성을 저하시킨다.
• '정보학 및 국립정보학' 분야는 단일한 WC인 '정보 과학 및 국립정보학'에만 일관되게 분류되어 있으며, 이는 분야 경계나 인용 패턴을 정확히 반영하지 못할 수 있다.
• 과학 및 기술 연구(STEM)는 전용 WC를 할당받지 않아 여러 분류에 산재해 있으며, 정규화 과정에서 오분류의 위험이 있다.
• 저널에 대해 다수의 중첩되거나 모호한 WCs를 적용할 경우 기준 집합의 분석적 명확성이 떨어지며, 특히 다학제적 연구 분야에서 문제가 된다.
• 레이든 랭킹에서 사용되는 알고리즘 기반 클러스터링 방법은 더 유동적이고 인용 기반의 대안을 제공하지만, 검증, 명명, 재현성 측면에서 도전 과제를 안고 있다.
• 이 논문은 현재 WCs 기반 국립정보학 정규화의 '최선의 관행'이 부족하며, 더 나은 분류 체계에 기반한 '최선의 가능한 관행'으로의 전환이 필수적이고 실현 가능하다고 결론을 내린다.