[論文レビュー] Artificial intelligence technologies to support research assessment: A review

Kayvan Kousha, Mike Thelwall|arXiv (Cornell University)|Dec 11, 2022

scientometrics and bibliometrics research被引用数 5

ひとこと要約

本論文は、テキスト特徴量（例：タイトル、要旨、読みやすさ）およびメタデータ（例：著者hインデックス、学術雑誌の影響力係数、共同研究指標）を用いた研究の質および影響力を予測するための人工知能（AI）および機械学習技術をレビューする。英国の研究評価調査（REF）における文献計量指標と質のランク付けとの強い相関関係が同定され、AI駆動の研究評価を支援するための公開データセット（例：Dimensions、OpenCitations）の評価が行われる一方で、自動評価システムにおけるバイアスおよび透明性の問題にも言及している。

ABSTRACT

This literature review identifies indicators that associate with higher impact or higher quality research from article text (e.g., titles, abstracts, lengths, cited references and readability) or metadata (e.g., the number of authors, international or domestic collaborations, journal impact factors and authors' h-index). This includes studies that used machine learning techniques to predict citation counts or quality scores for journal articles or conference papers. The literature review also includes evidence about the strength of association between bibliometric indicators and quality score rankings from previous UK Research Assessment Exercises (RAEs) and REFs in different subjects and years and similar evidence from other countries (e.g., Australia and Italy). In support of this, the document also surveys studies that used public datasets of citations, social media indictors or open review texts (e.g., Dimensions, OpenCitations, Altmetric.com and Publons) to help predict the scholarly impact of articles. The results of this part of the literature review were used to inform the experiments using machine learning to predict REF journal article quality scores, as reported in the AI experiments report for this project. The literature review also covers technology to automate editorial processes, to provide quality control for papers and reviewers' suggestions, to match reviewers with articles, and to automatically categorise journal articles into fields. Bias and transparency in technology assisted assessment are also discussed.

研究の動機と目的

• より高い研究の影響力または質に関連するテキストおよびメタデータ指標を特定すること。
• ジャーナル論文およびカンファレンス論文の引用回数または質のスコアを予測するための機械学習モデルを検討すること。
• 英国のREF、RAE、および国際的評価（例：オーストラリア、イタリア）における文献計量指標と専門家による質のランク付けとの間の相関の強さを分析すること。
• AIモデルのトレーニングおよび検証に使用可能な公開データセット（例：Dimensions、OpenCitations、Publons）を評価すること。
• 編集プロセスの自動化、レビュアーのマッチング、論文の分類、品質管理におけるAIの応用を検討し、バイアスおよび透明性の問題に対処すること。

提案手法

• 論文のテキストおよびメタデータに基づいて引用回数または質のスコアを予測するための機械学習を用いた研究の体系的レビュー。
• ジャーナルの影響力係数、著者hインデックス、著者数、共同研究の種別（国内／国際的）などの文献計量指標の分析。
• AIモデルの研究評価におけるトレーニングに使用可能な公開データソース（例：Dimensions、OpenCitations、Publons）の評価。
• タイトルおよび要旨における読みやすさ、長さ、引用文献の特徴が予測に与える影響の統合的証拠の提示。
• 学術出版におけるレビュアーの割り当て、論文分類、品質管理の自動化におけるAIの応用の評価。
• AI支援研究評価システムにおける透明性およびバイアスに関する批判的考察。

実験結果

リサーチクエスチョン

• RQ1 どのテキストおよびメタデータ特徴量が、より高い研究の影響力または質と最も強く関連しているか？
• RQ2 論文レベルの特徴量を用いて、機械学習モデルが引用回数または質のスコアをどの程度正確に予測できるか？
• RQ3 英国のREFおよびRAEにおける文献計量指標と専門家による質のランク付けとの間の相関の強さはいかほどか？
• RQ4 Dimensions や OpenCitations などの公開データセットは、AI駆動の研究評価を支援するためにどの程度効果的か？
• RQ5 AI支援研究評価におけるバイアスおよび透明性に関するリスクと課題は何か？

主な発見

• 機械学習モデルは、読みやすさ、長さ、著者hインデックスなどのテキストおよびメタデータ特徴量を用いて、引用回数および質のスコアの予測に顕著な予測能力を示している。
• 英国のREFおよびRAEにおいて、複数の専門分野および年次にわたり、文献計量指標と専門家による質のランク付けとの間に強い相関関係が確認された。
• Dimensions や OpenCitations などの公開データセットは、研究評価におけるAIモデルのトレーニングおよび検証に貴重なデータを提供している。
• 国際共同研究、ジャーナルの影響力係数、著者数といった指標は、一貫して高い研究の影響力と関連している。
• レビュアーのマッチング、論文分類、品質管理におけるAIの応用は、学術出版におけるスケーラビリティの観点から実現可能性と潜在的利点を示している。
• AI支援評価におけるバイアスおよび透明性の欠如は、慎重な設計と監視を要する重要な課題のまま残っている。