[논문 리뷰] Quantifying Success in Science: An Overview

Xiaomei Bai, Hanxiao Pan외 4명|arXiv (Cornell University)|2020. 08. 10.

scientometrics and bibliometrics research참고 문헌 110인용 수 4

한 줄 요약

이 논문은 학술 영향 평가에 대한 종합적인 검토를 제공하며, 논문, 학자, 저널 영향을 위한 지표를 분류하고 분석한다. 협업 영향 패턴, 암묵적 성공 요인, 동적 네트워크 모델링, 인용 과잉과 같은 주요 과제를 규명하고, 통합 기준, 이종 네트워크, 동적 임bedding 기법을 통해 과학적 평가 시스템을 향상시키기 위한 해결책을 제안한다.

ABSTRACT

Quantifying success in science plays a key role in guiding funding allocations, recruitment decisions, and rewards. Recently, a significant amount of progresses have been made towards quantifying success in science. This lack of detailed analysis and summary continues a practical issue. The literature reports the factors influencing scholarly impact and evaluation methods and indices aimed at overcoming this crucial weakness. We focus on categorizing and reviewing the current development on evaluation indices of scholarly impact, including paper impact, scholar impact, and journal impact. Besides, we summarize the issues of existing evaluation methods and indices, investigate the open issues and challenges, and provide possible solutions, including the pattern of collaboration impact, unified evaluation standards, implicit success factor mining, dynamic academic network embedding, and scholarly impact inflation. This paper should help the researchers obtaining a broader understanding of quantifying success in science, and identifying some potential research directions.

연구 동기 및 목표

• 논문, 학자, 저널의 학술 영향 평가 지표를 체계적으로 분류하고 검토하는 것.
• 현재 평가 방법의 비판적 한계, 특히 학술 연령에 대한 편향과 인용 과잉을 규명하는 것.
• 협업 영향, 암묵적 성공 요인, 동적 학술 네트워크와 같은 새로운 과제를 탐색하는 것.
• 보다 정확한 영향 평가를 위해 통합 평가 기준, 암묵적 요인 탐색, 동적 네트워크 임bedding과 같은 해결책을 제안하는 것.
• 특히 다학제적 및 변화하는 학술 맥락에서의 학술 영향 측정에 대한 열린 문제를 규명하여 향후 연구를 안내하는 것.

제안 방법

• 학술 영향 평가를 논문 영향, 학자 영향, 저널 영향의 세 영역으로 분류하고, 문헌 기반 및 과학지표 방법을 사용한다.
• 카운팅 기반 방법(예: 인용 수, h-지수, JIF)과 네트워크 기반 알고리즘(예: PageRank, HITS)을 활용해 영향을 정량화하는 방법을 검토한다.
• 시간에 따라 변화하는 학술 관계를 모델링하기 위해 동적 학술 네트워크 임bedding을 제안하여 노드 중요성의 표현을 향상시킨다.
• 인용 과잉을 완화하고 영향 측정의 강건성을 향상시키기 위해 고차원 학술 네트워크의 개념을 도입한다.
• 다양한 영향 평가 방법을 기준으로 비교하고 평가하기 위해 통합 평가 기준과 기준 데이터셋을 권장한다.
• 기존 지표의 한계를 해결하기 위해 공동 저자 협업 영향을 통합하고 정량화하기 위해 이종 학술 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 학술 네트워크에서 협업 영향은 어떻게 체계적으로 측정할 수 있으며, 시간이 지남에 따라 어떤 패턴이 나타나는가?
• RQ2 학술 연령와 분야를 초월해 학술 영향에 기여하는 암묵적 성공 요인은 무엇이며, 어떻게 탐색할 수 있는가?
• RQ3 변화하는 인용 및 공동 저자 관계 패턴을 반영하기 위해 동적 학술 네트워크는 어떻게 효과적으로 모델링할 수 있는가?
• RQ4 학술 영향 과잉은 연구 성과의 시간 간 비교를 얼마나 심각하게 왜곡하는가?
• RQ5 다양한 영향 평가 방법을 공정하게 비교하기 위해 어떤 통합 기준과 평가 프레임워크가 필요한가?

주요 결과

• h-지수나 JIF와 같은 기존 평가 지표는 학술 연령에 대한 편향과 인용 조작에 취약하여 한계가 있다.
• PageRank나 HITS와 같은 네트워크 기반 방법은 인용 및 공동 저자 네트워크의 구조적 관계를 모델링함으로써 영향 평가를 향상시킨다.
• 출판 수의 기하급수적 증가에 기인한 학술 영향 과잉은 시간이 지남에 따라 인용 기반 지표의 신뢰성을 떨어뜨린다.
• 동적 학술 네트워크 임bedding은 학술 영향의 시간적 변화를 포착하는 데 필수적이지만 여전히 개발이 부족한 상태이다.
• 멘토링과 학습 습관과 같은 암묵적 성공 요인은 학술 성공에 중요한 역할을 하지만 아직 충분히 탐색되지 않았다.
• 일관성과 공정성을 향상시키기 위해 통합 평가 기준과 고차원 네트워크 모델이 핵심적이다.