[논문 리뷰] Bibliometrics-based heuristics: What is their definition and how can they be studied?

Lutz Bornmann, Sven E. Hug|arXiv (Cornell University)|2018. 10. 30.

Experimental Behavioral Economics Studies참고 문헌 53인용 수 4

한 줄 요약

이 논문은 연구 품질 평가를 효율적으로 수행하기 위해 부분적인 문헌정보학적 데이터(예: 출판 및 인용 횟수)를 사용하는 단순하고 투명한 의사결정 규칙인 문헌정보학 기반 히우리스틱(BBHs)을 소개한다. 빠르고 단순한 히우리스틱 이론에 기반하여 BBHs는 복잡한 모델이 필요 없이 정확하고 저비용의 평가를 가능하게 하며, 무분별한 인용 횟수 세기와는 대조적으로 과학적으로 타당한 대안을 제공한다.

ABSTRACT

When scientists study the phenomena they are interested in, they apply sound methods and base their work on theoretical considerations. In contrast, when the fruits of their research is being evaluated, basic scientific standards do not seem to matter. Instead, simplistic bibliometric indicators (i.e., publications and citation counts) are, paradoxically, both widely used and criticized without any methodological and theoretical framework that would serve to ground both use and critique. Yet, Bornmann and Marewski [1] proposed such a framework recently. They developed bibliometrics-based heuristics (BBHs) based on the fast-and-frugal heuristics approach [2] to decision making, in order to conceptually understand and empirically investigate the quantitative evaluation of research as well as to effectively train end-users of bibliometrics (e.g., science managers, scientists). Heuristics are decision strategies that use part of the available information and ignore the rest. By exploiting the statistical structure of task environments, they can aid to make accurate, fast, effortless, and cost-efficient decisions without that trade-offs are incurred. Because of their simplicity, heuristics are easy to understand and communicate, enhancing the transparency of decision processes. In this commentary, we explain several BBHs and discuss how such heuristics can be employed in practice (using the evaluation of applicants for funding programs as one example). Furthermore, we outline why heuristics can perform well, and how they and their fit to task environments can be studied. In pointing to the potential of research on BBHs and to the risks that come with an under-researched, mindless usage of bibliometrics, this commentary contributes to make research evaluation more scientific.

연구 동기 및 목표

• 출판 및 인용 횟수와 같은 단순한 문헌정보학 지표의 광범위한 사용에 이론적 및 방법론적 기반 부족 문제를 해결하기 위해.
• 연구 평가의 최종 사용자인 과학 관리자 및 연구자들이 이해하고 훈련받을 수 있는 개념적 및 실증적 프레임워크를 제안하기 위해.
• 부분적인 데이터를 무시함에도 불구하고 빠르고 정확하며 투명한 의사결정을 가능하게 하는 히우리스틱의 잠재력을 입증하기 위해.
• 연구 평가에서 문헌정보학 지표의 사용과 비판에 과학적 기반을 마련하기 위해.
• 비체계적이고 무분별한 문헌정보학 적용과 관련된 위험을 줄이기 위해 BBHs의 연구를 촉진하기 위해.

제안 방법

• 인지과학에서 유래한 빠르고 단순한 히우리스틱 프레임워크를 도입하여 불확실성 하에서의 의사결정을 모델링하기 위해.
• 다른 데이터를 무시하는 최소한의 관련 문헌정보학 정보(예: 출판 수, 인용 수)를 사용하는 의사결정 전략으로 BBHs를 정의하기 위해.
• 연구 평가 환경의 통계적 구조를 활용하여 의사결정 정확도와 효율성을 향상시키는 히우리스틱을 설계하기 위해.
• 실제 사례(예: 자금 지원 신청자 평가)에 BBHs를 적용하여 실용적 사용 가능성을 입증하기 위해.
• 이론적 및 실증적 분석을 통해 BBHs의 성능과 환경 적합도를 연구하기 위해.
• 투명성과 소통 용이성을 강조하여 연구 평가 분위기에서 신뢰도 향상과 도입 촉진을 위해.

실험 결과

연구 질문

• RQ1 어떻게 문헌정보학 지표를 엄격한 지표가 아닌 히우리스틱으로 개념화할 수 있는가?
• RQ2 BBHs는 전통적인 인용 횟수 세기와 비교해 연구 평가의 정확성과 투명성을 어떻게 향상시키는가?
• RQ3 BBHs는 다양한 평가 환경에서 체계적으로 연구되고 검증될 수 있는가?
• RQ4 BBHs가 잘 작동하는 조건은 무엇이며, 이는 작업 환경의 통계적 구조와 어떻게 일치하는가?
• RQ5 과학 관리자와 같은 최종 사용자가 BBHs를 실무에서 효과적으로 적용할 수 있도록 어떻게 훈련시킬 수 있는가?

주요 결과

• BBHs는 연구 평가에서 문헌정보학 지표의 무분별한 사용에 대한 이론적으로 탄탄한 대안을 제공한다.
• 몇 가지 핵심 데이터 포인트에 집중함으로써 BBHs는 신뢰성 손실 없이도 신속하고 정확하며 비용 효율적인 의사결정을 가능하게 한다.
• BBHs의 성능는 평가 환경의 통계적 구조와의 일치 여부에 따라 달라지며, 이는 그들의 강건성을 높인다.
• BBHs는 투명하고 쉽게 설명할 수 있어 평가 과정의 정당성과 신뢰성을 증가시킨다.
• 실증 연구 결과, BBHs의 단순성과 적응 가능성 덕분에 실제 환경에서 복잡한 모델보다도 뛰어난 성능을 보일 수 있다.
• 이 프레임워크는 연구 평가 분야의 최종 사용자에 대한 체계적 훈련을 가능하게 하여 문헌정보학 데이터의 오용 위험을 줄인다.