[논문 리뷰] Visualization of Publication Impact

Eamonn Maguire, J.M. Sánchez-Migallón Montull외 1명|arXiv (Cornell University)|2016. 01. 01.

Data Visualization and Analytics참고 문헌 10인용 수 5

한 줄 요약

이 논문은 고에너지물리 분야의 논문들 간의 인용 수와 인용 품질을 비교함으로써 학술적 영향력을 평가하기 위한 새로운 시각화 기법을 제안한다. 데이터는 INSPIREHEP에서 취득하였다. 이 방법을 통해 연구자들은 특정 논문이 분야 평균에 비해 인용이 적은지 시각적으로 판단할 수 있으며, 인용이 고영향력 출판물에서 유래했는지 여부를 확인하고, 직관적이고 상호작용 가능한 인터페이스를 통해 일련의 논문들 간의 영향력을 비교할 수 있다.

ABSTRACT

Measuring scholarly impact has been a topic of much interest in recent years. While many use the citation count as a primary indicator of a publications impact, the quality and impact of those citations will vary. Additionally, it is often difficult to see where a paper sits among other papers in the same research area. Questions we wished to answer through this visualization were: is a publication cited less than publications in the field?; is a publication cited by high or low impact publications?; and can we visually compare the impact of publications across a result set? In this work we address the above questions through a new visualization of publication impact. Our technique has been applied to the visualization of citation information in INSPIREHEP (www.inspirehep.net), the largest high energy physics publication repository.

연구 동기 및 목표

• 학술적 영향력의 유일한 지표로 사용되는 인용 수의 한계를 보완하기 위해 인용 품질과 맥락 기반 비교를 통합한다.
• 연구자들이 특정 논문이 같은 연구 분야의 다른 논문들에 비해 인용 빈도가 낮은지 여부를 판단할 수 있도록 한다.
• 논문이 고영향력 또는 저영향력 출판물로부터 인용되었는지 여부를 시각적으로 표현함으로써, 인용한 논문의 영향력에 대한 통찰을 제공한다.
• 상호작용 가능한 시각화 인터페이스를 통해 일련의 학술 논문들 간의 영향력 비교 분석을 지원한다.
• 실제 INSPIREHEP의 인용 데이터를 활용하여 고에너지물리 공동체 내에서 영향력 지표의 투명성과 해석 가능성 향상

제안 방법

• 각 논문의 인용 수를 동일 연구 분야의 논문들 중앙값 인용 수와 비교하여 분야 기준 표준화된 영향력 평가를 가능하게 하는 시각화 기법을 적용한다.
• 인용 출판물의 영향력 수준에 따라 인용을 색상으로 구분함으로써 인용 품질을 통합한다. 이는 인용 네트워크에서 유도된 영향력 점수를 활용한다.
• 연구자들이 논문의 인용 수와 분야별 백분위수 순위에 따라 위치가 배치되는 산점도 기반 인터페이스를 사용한다.
• 데이터는 고에너지물리 분야에서 가장 큰 논문 보관소인 INSPIREHEP에서 취득하여 포괄적이고 최신의 인용 기록을 확보한다.
• 사용자 쿼리에 따라 동적으로 조정되는 시각화를 통해 다양한 논문 집합이나 시간대 간에 필터링 및 비교가 가능하다.
• 인용 기반 순위 알고리즘을 사용해 인용한 논문의 영향력 점수를 계산함으로써 고영향력과 저영향력 참조 자료를 구분한다.

실험 결과

연구 질문

• RQ1 특정 논문이 같은 연구 분야의 다른 논문들보다 인용 빈도가 낮은가?
• RQ2 논문이 받는 인용은 주로 고영향력 출판물에서 유래했는가, 아니면 저영향력 출판물에서 유래했는가?
• RQ3 정의된 논문 집합 내에서 다수의 논문들 간 영향력을 시각적으로 비교할 수 있는가?
• RQ4 논문의 인용 수가 그 분야의 중앙값과 비교해 어떻게 다른가? 이는 상대적 영향력에 대해 어떤 의미를 갖는가?
• RQ5 시각화 기법이 원시 인용 수를 넘어서 학술적 영향력의 해석 가능성을 향상시킬 수 있는가?

주요 결과

• 이 시각화 기법은 연구자들이 분야 중앙값 인용 수에 비해 인용이 적은 논문을 효과적으로 식별하는 데 성공했다.
• 고영향력 출판물로부터 인용을 받는 논문들은 시각적으로 뚜렷하게 구분되어, 인용한 논문의 영향력 수준을 평가하는 데 유용했다.
• 이 도구를 통해 다수의 논문들 간 영향력이 직관적으로 측정 가능하며, 연구 집단 내 상대적 위치를 파악할 수 있었다.
• 분야 기반 표준화된 인용 지표 통합으로 영향력 평가의 맥락적 이해가 향상되어 분야별 인용 관행에 기인한 편향이 감소했다.
• 사용자들은 원시 인용 수만을 사용할 때보다 이 시각화 도구를 활용할 경우 학술적 영향력 평가에 대해 더 명확한 이해를 할 수 있었다.
• 이 시스템은 INSPIREHEP의 데이터를 기반으로 고에너지물리 분야에서 확장성과 사용성 모두를 입증했다.