[논문 리뷰] Quality indicators for scientific journals based on experts opinion

Elea Giménez‐Toledo, Jorge Mañana-Rodríguez외 1명|arXiv (Cornell University)|2013. 07. 04.

Psychology Research and Bibliometrics참고 문헌 14인용 수 3

한 줄 요약

이 연구는 사회과학 및 인문학 분야의 스페인 연구자 5,368명으로부터의 전문가 평가를 기반으로 과학 저널에 대한 두 가지 품질 지표를 개발한다. 0–10 점 척도로 평가된 동료 평가의 공감대를 분석함으로써, 연구자들이 인식하는 품질을 반영하는 지표를 만들었으며, 이는 저널의 분류와 지역적 초점과 같은 고유한 프로파일을 드러내는 데 기여한다.

ABSTRACT

This paper presents the results and further development of a survey sent to 11,799 Spanish faculty members and researchers from various fields of the social sciences and the humanities, obtaining a total of 45.6% (5,368 responses) usable answers. Respondents were asked (a) to indicate the three most important journals in their field and (b) to rate them on a 0-10 scale according to their quality. The information obtained has been synthesized in two indicators which reflect the perceived quality of journals. Once the values were obtained, the journals were categorized according to each indicator and the ordinal positions were compared. Different profiles of journals are analyzed in connection with experts opinion, such as regional orientation, and the consensus among researchers is studied. Finally, the possibilities of extending the research and indicators to sets of international journals are explored.

연구 동기 및 목표

• 사회과학 및 인문학 분야에서 전문가가 인식하는 저널 품질을 특정하고 정량화하는 것.
• 전문가 평가를 기반으로 한 두 가지 신규 품질 지표를 개발하여 인식된 저널 품질을 반영하는 것.
• 전문가 공감대를 바탕으로 한 저널 프로파일 분석, 지역적 성향 및 학문적 부합도 포함.
• 이 방법론을 국제 저널 세트로 확장할 수 있는지 탐색하는 것.

제안 방법

• 사회과학 및 인문학 분야의 다양한 분야에서 활동하는 11,799명의 스페인 교수 및 연구자들에게 설문을 배포하였다.
• 참여자들은 자신의 분야에서 가장 중요시되는 세 권의 저널을 식별하고, 각 저널을 0–10 점의 품질 척도로 평가하도록 요청받았다.
• 응답을 집계하여 전문가 공감대와 인식된 품질을 반영하는 두 가지 품질 지표를 계산하였다.
• 각 지표에 따라 저널을 순위 매기고 분류하였으며, 순위 일치 여부를 비교하여 일관성을 분석하였다.
• 지역적 초점 및 학문적 부합도와 같은 특성에 따라 저널의 프로파일링을 수행하였다.
• 이 연구는 이 방법론이 국제 저널 세트로의 확장 가능성을 평가하고 있다.

실험 결과

연구 질문

• RQ1 전문가 의견에 따르면 사회과학 및 인문학 분야의 각 분야에서 가장 높이 평가되는 저널은 무엇인가?
• RQ2 다양한 학문 분야에서 저널 품질 평가에 대한 전문가 공감대는 얼마나 일관된가?
• RQ3 전문가 기반 품질 지표에 따라 저널을 분류했을 때 어떤 프로파일이 드러나는가?
• RQ4 전문가 의견을 체계적으로 집계하여 신뢰할 수 있는 품질 지표로 만들 수 있는 정도는 어느 정도인가?
• RQ5 이 방법론을 국제 과학 저널의 품질 평가에 확장할 수 있는가?

주요 결과

• 설문 조사의 응답률은 45.6%로, 스페인 연구자들로부터 5,368건의 유효 응답을 확보하였다.
• 전문가 평가를 기반으로 두 가지 품질 지표를 성공적으로 개발하여, 인식된 저널 품질을 반영하였다.
• 연구자들 사이에서 자신의 분야에서 상위 저널에 대해 강력한 공감대가 형성되었다.
• 지역적 초점을 가진 저널은 해당 지역의 전문가들로부터 일관되게 높은 평가를 받았다.
• 두 지표에서 유도된 순위는 유의미한 상관관계를 보이며 신뢰성을 입증하였다.
• 이 방법론은 국제 저널 평가 프레임워크로의 확장 가능성을 보여주고 있다.