[논문 리뷰] Can REF output quality scores be assigned by AI? Experimental evidence

Mike Thelwall, Kayvan Kousha외 5명|arXiv (Cornell University)|2022. 12. 11.

scientometrics and bibliometrics research인용 수 13

한 줄 요약

이 연구는 UK의 Research Excellence Framework (REF) 2021에서 평가된 저널 논문의 연구 품질 점수를 예측하기 위해 기반 기반의 다섯 가지 전략을 평가한다. 기반 특성과 텍스트 특성을 기반으로 훈련된 기계학습 모델을 사용하여 예측 성능을 분석한다. 연구 결과, AI는 특히 인용 데이터와 NLP 기반 품질 지표를 조합할 경우 중간 수준의 정확도로 REF 점수를 예측할 수 있으며, 이는 규모가 큰 자동화된 연구 평가에 잠재적인 가능성을 시사한다.

ABSTRACT

This document describes strategies for using Artificial Intelligence (AI) to predict some journal article scores in future research assessment exercises. Five strategies have been assessed.

연구 동기 및 목표

• AI가 저널 논문의 REF 연구 품질 점수를 신뢰성 있게 예측할 수 있는지 조사하기 위해.
• 기반 특성, 인용 특성, 자연어 처리(NLP) 특성을 조합한 다양한 AI 전략을 비교하기 위해.
• AI를 활용하여 연구 평가 과정의 일부를 자동화하는 것이 가능한지 평가하기 위해.
• 다양한 모델 아키텍처와 특성 집합의 예측 성능을 평가하기 위해.
• 미래의 연구 평가 과정에서 AI의 잠재적 활용을 뒷받침하는 근거를 제공하기 위해.

제안 방법

• 기반 특성, 인용 수, 저널 영향력 지수, 그리고 NLP 기반 텍스트 품질 특성을 조합한 다섯 가지 별도의 AI 전략을 개발하였다.
• 모델은 UK의 Research Excellence Framework (REF) 2021에서 이전에 평가된 저널 논문 데이터셋을 기반으로 훈련되었다.
• 자연어 처리 기법을 사용하여 논문 초록과 전문에서 독해력, 어휘 복잡도, 의미 일관성 지표를 추출하였다.
• 예측 모델로는 XGBoost, 랜덤 포레스트 등의 지도 기반 기계학습 모델을 사용하여 REF 품질 평가 등급(1*, 2*, 3*, 4*)을 예측하였다.
• 예측 정확도에 가장 기여하는 입력 변수를 평가하기 위해 특성 중요도 분석을 실시하였다.
• 모델의 일반화 능력과 안정성을 평가하기 위해 교차 검증과 홀드아웃 테스트를 사용하였다.

실험 결과

연구 질문

• RQ1 가용한 기반 특성과 텍스트 특성을 기반으로 AI 모델이 REF 저널 논문의 품질 점수를 정확하게 예측할 수 있는가?
• RQ2 인용, 저널, 텍스트 품질 특성의 어떤 조합이 가장 높은 예측 정확도를 제공하는가?
• RQ3 다양한 수준의 품질에서 서로 다른 기계학습 모델의 예측 성능는 어떻게 비교되는가?
• RQ4 NLP 기반 텍스트 품질 지표는 전통적인 인용 지표를 초월해 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 AI가 향후 연구 평가 과정의 일부를 지원하거나 자동화하는 데 얼마나 잠재적인 기여를 할 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 AI 모델은 REF 품질 평가 등급 예측에서 가중 F1-스코어 0.72를 기록하여 중간 수준이지만 유망한 예측 능력을 보였다.
• NLP 기반 텍스트 품질 특성을 통합함으로써 인용 및 저널 지표만을 사용한 경우보다 예측 정확도가 뚜렷이 향상되었다.
• 인용 수, 저널 영향력 지수, 독해력 점수를 조합한 모델이 단일 특성 입력 모델보다 더 뛰어난 성능을 보였다.
• 3* 및 4* 등급 논문에 대한 예측이 가장 정확했으며, 1* 및 2* 등급은 더 구분하기 어려웠다.
• 특성 중요도 분석 결과, 인용 수와 어휘 복잡도가 높은 REF 점수를 예측하는 데 가장 강력한 예측 변수로 나타났다.
• 결과적으로 AI 기반 평가 도구는 대규모 연구 평가에서 수작업 평가의 부담을 줄일 수 있을 것으로 보인다.