[논문 리뷰] Artificial intelligence technologies to support research assessment: A review

Kayvan Kousha, Mike Thelwall|arXiv (Cornell University)|2022. 12. 11.

scientometrics and bibliometrics research인용 수 5

한 줄 요약

이 논문은 텍스트 특징(예: 제목, 초록, 독해 용이성)과 메타데이터(예: 저자 h-지수, 저널 영향력 지수, 협업 지표)를 사용하여 연구 품질과 영향력을 예측하기 위한 인공지능과 기계학습 기법을 검토한다. 영국 연구 평가 과정(REF)의 품질 순위와 밀도 있는 상관관계를 보이고, AI 기반 연구 평가를 지원하기 위해 Dimensions와 OpenCitations와 같은 공개 데이터셋을 평가하며, 자동 평가 시스템의 편향성과 투명성 문제를 다룬다.

ABSTRACT

This literature review identifies indicators that associate with higher impact or higher quality research from article text (e.g., titles, abstracts, lengths, cited references and readability) or metadata (e.g., the number of authors, international or domestic collaborations, journal impact factors and authors' h-index). This includes studies that used machine learning techniques to predict citation counts or quality scores for journal articles or conference papers. The literature review also includes evidence about the strength of association between bibliometric indicators and quality score rankings from previous UK Research Assessment Exercises (RAEs) and REFs in different subjects and years and similar evidence from other countries (e.g., Australia and Italy). In support of this, the document also surveys studies that used public datasets of citations, social media indictors or open review texts (e.g., Dimensions, OpenCitations, Altmetric.com and Publons) to help predict the scholarly impact of articles. The results of this part of the literature review were used to inform the experiments using machine learning to predict REF journal article quality scores, as reported in the AI experiments report for this project. The literature review also covers technology to automate editorial processes, to provide quality control for papers and reviewers' suggestions, to match reviewers with articles, and to automatically categorise journal articles into fields. Bias and transparency in technology assisted assessment are also discussed.

연구 동기 및 목표

• 더 높은 연구 영향력 또는 품질과 관련된 텍스트 및 메타데이터 지표를 특정하기 위해.
• 저널 논문 및 컫퍼런스 논문의 인용 수 또는 품질 점수를 예측하는 기계학습 모델을 검토하기 위해.
• 영국의 REF, RAE 및 국제 평가(예: 호주, 이탈리아)에서의 문헌지표와 전문가가 평가한 품질 순위 간의 상관관계 강도를 분석하기 위해.
• AI 모델 훈련 및 검증을 위한 공개 데이터셋(예: Dimensions, OpenCitations, Publons)을 평가하기 위해.
• 편향성과 투명성을 고려하면서 편집 프로세스 자동화, 심사위원 매칭, 논문 분류 및 품질 관리에 AI를 적용하기 위해.

제안 방법

• 기사 텍스트 및 메타데이터를 기반으로 인용 수 또는 품질 점수를 예측하기 위한 기계학습을 사용한 연구에 대한 체계적 문헌 리뷰.
• 저널 영향력 지수, 저자 h-지수, 저자 수, 협업 유형(국내/국제) 등의 문헌지표 분석.
• AI 모델 훈련을 위한 연구 평가에서 Dimensions, OpenCitations, Publons 등의 공개 데이터 소스 평가.
• 제목과 초록에서 독해 용이성, 길이, 인용된 참고문헌의 예측 능력에 대한 증거 통합.
• 학술 출판 분야에서 심사위원 할당, 논문 분류, 품질 관리 자동화에 대한 AI 응용 평가.
• AI 지원 연구 평가 시스템의 투명성과 편향성에 대한 비판적 논의.

실험 결과

연구 질문

• RQ1 어느 텍스트 및 메타데이터 특징이 더 높은 연구 영향력 또는 품질과 가장 강하게 연관되어 있는가?
• RQ2 기사 수준의 특징을 사용할 때 기계학습 모델이 인용 수 또는 품질 점수를 얼마나 잘 예측할 수 있는가?
• RQ3 영국의 REF 및 RAE에서의 문헌지표와 전문가 평가 품질 순위 간의 상관관계 강도는 어떠한가?
• RQ4 Dimensions 및 OpenCitations와 같은 공개 데이터셋이 AI 기반 연구 평가를 뒷받침하는 데 얼마나 효과적인가?
• RQ5 AI 지원 연구 평가에서 편향성과 투명성과 관련된 위험 요소와 과제는 무엇인가?

주요 결과

• 기계학습 모델은 독해 용이성, 길이, 저자 h-지수 등의 텍스트 및 메타데이터 특징을 사용하여 인용 수와 품질 점수에 대해 뚜렷한 예측 능력을 보였다.
• 다양한 학문 분야와 연도에 걸쳐 영국의 REF 및 RAE에서 문헌지표와 전문가 평가 품질 순위 사이에 강력한 상관관계가 발견되었다.
• Dimensions 및 OpenCitations와 같은 공개 데이터셋은 연구 평가에서 AI 모델 훈련 및 검증에 유용한 데이터를 제공한다.
• 국제 협업, 저널 영향력 지수, 저자 수 등의 지표는 높은 연구 영향력과 일관되게 연관되어 있다.
• 심사위원 매칭, 논문 분류 및 품질 관리에 대한 AI 응용은 학술 출판 분야에서 실행 가능성이 있으며 확장 가능성도 보이고 있다.
• AI 지원 평가 시스템의 편향성과 투명성 부족은 여전히 중요한 과제이며, 신중한 설계와 감독이 필요하다.