[논문 리뷰] The effect of the Indonesian higher education evaluation system on conference proceedings publications

Philip J. Purnell|arXiv (Cornell University)|2019. 10. 26.

scientometrics and bibliometrics research참고 문헌 5인용 수 4

한 줄 요약

이 연구는 인도네시아의 고등교육 평가 제도가 학술 출판 행동에 어떤 영향을 미쳤는지 조사하며, 글로벌 및 지역 평균을 크게 초월하는 회의록 출판물의 급격한 증가를 드러낸다. 웹 오브 사이언스, 스투페르, 디멘션스의 데이터를 바탕으로, 문서 유형의 구분이 없는 정책적 유인으로 학자들이 저널 대비 더 빠른 회의록 출판물을 선호하게 되어 출판 패턴이 변화하고, 연구 평가의 영향이 학술 성과의 질에 미치는 영향에 대한 우려를 제기한다.

ABSTRACT

Indonesia has exhibited a unique pattern of conference proceedings publishing that was distinct from global and regional norms. Conference proceedings are now an integral part of the major citation databases, and this study examined their progressive coverage in the context of academic career advancement and Indonesian government policy. The results of analyses in Web of Science (WoS), Scopus and to a lesser extent, Dimensions showed an increase in the proportion of conference proceedings far in excess of global norms and not seen in any other South East Asian country. In the conference series containing most Indonesian proceedings papers, there was a recent increase in representation from Indonesia and an increase in the proportion of those conferences hosted in Indonesia. Local policy documents and guidelines from 2012 and 2014 appeared to encourage academics to increase research outputs in high impact internationally indexed sources but did not make any distinction between document types. The conclusion suggests that scholars might have found advantage in advancing through the hierarchy of academia through publishing conference papers that were quicker and easier to publish than journal articles. The study is important to policy makers in the area of research evaluation because it highlights potential changes in academic publishing behaviour by those being assessed.

연구 동기 및 목표

• 인도네시아의 고등교육 평가 제도가 학술 출판 패턴에 미치는 영향을 분석하기 위해.
• 인도네시아의 회의록 출판물이 글로벌 및 지역적 추세에 비해 비례적으로 크게 증가한 이유를 조사하기 위해.
• 2012년과 2014년의 정부 정책이 연구자들이 출판 장소를 선택하는 데 미친 영향을 평가하기 위해.
• 평가 기준에서 저널과 회의록 출판물 간의 구분이 없었기 때문에 회의록 출판물의 증가가 유도되었는지 판단하기 위해.
• 이러한 변화가 인도네시아의 연구 품질과 학술 경력 발전에 미치는 영향을 평가하기 위해.

제안 방법

• 주요 인용 데이터베이스인 웹 오브 사이언스, 스투페르, 디멘션스의 출판 데이터 분석.
• 시간에 따른 인도네시아 학술 성과에서 회의록 출판물 비율의 정량적 추적.
• 2012년과 2014년 정책 문서 및 지침을 분석하여 색인된 자료에 출판하는 데 유인되는 요소를 규명하기 위해.
• 동남아시아 지역의 글로벌 및 지역 평균과 비교하여 인도네시아의 출판 추세 분석.
• 인도네시아 논문을 주로 수용하는 회의 시리즈의 검토, 지리적 이동 및 인도네시아의 대표성 증가 분석.
• 인용 데이터베이스 커버리지의 활용을 통해 인도네시아 회의록 출판물의 가시성 및 색인 여부 평가.

실험 결과

연구 질문

• RQ1 인도네시아의 고등교육 평가 제도는 학술 출판의 양과 유형에 어떤 영향을 미쳤는가?
• RQ2 왜 인도네시아는 다른 동남아시아 국가들에 비해 회의록 출판물의 비율이 비례적으로 크게 증가했는가?
• RQ3 2012년과 2014년의 정책적 유인이 색인된 회의록 출판물에 대한 출판을 얼마나 장려했는가?
• RQ4 평가 기준에서 저널과 회의록 출판물 간의 차이가 없었기 때문에 전략적 출판 행동이 유도되었는가?
• RQ5 이러한 출판 패턴의 변화가 학술 경력 발전과 연구 품질에 어떤 영향을 미치는가?

주요 결과

• 인도네시아의 학술 성과에서 회의록 출판물 비중은 글로벌 및 지역 평균을 크게 초월해 상당히 증가했다. 특히 색인된 데이터베이스에서 두드러졌다.
• 인도네시아의 학술 성과에서 회의록 출판물 비율은 급격히 증가했으며, 이는 다른 동남아시아 국가들에서는 관찰되지 않는 추세였다.
• 가장 많은 인도네시아 논문을 수용한 회의 시리즈는 최근에 인도네시아의 대표성과 인도네시아 내에서의 개최지 증가를 보였다.
• 2012년과 2014년의 정부 정책은 저널과 회의록 출판물 간의 차이를 고려하지 않고도 고임팩터, 국제적으로 색인된 자료에 출판하는 것을 장려했다.
• 학자들은 경력 발전을 위한 더 빠르고 접근성이 높은 길로 회의록 출판물을 전략적으로 선택한 것으로 보인다.
• 이러한 결과는 연구 평가 제도가 연구 품질과 가시성에 영향을 미칠 수 있는 방식으로 출판 행동을 의도치 않게 유도할 수 있음을 시사한다.