[论文解读] Hierarchical Classification of Research Fields in the "Web of Science" Using Deep Learning

Susie Xi Rao, Peter Egger+1 more|arXiv (Cornell University)|Feb 1, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种基于深度学习的分层分类系统，通过其摘要自动将来自微软学术图谱的学术论文分配到学科、领域和子领域三级分类体系中。该系统在1.6亿篇摘要上应用微调后的神经网络模型（包括CNN、RNN和Transformer），在77.13%（单标签）和78.19%（多标签）的分类任务中准确率超过90%，实现了可扩展的、多标签的、跨学科的研究分类。

ABSTRACT

This paper presents a hierarchical classification system that automatically categorizes a scholarly publication using its abstract into a three-tier hierarchical label set (discipline, field, subfield) in a multi-class setting. This system enables a holistic categorization of research activities in the mentioned hierarchy in terms of knowledge production through articles and impact through citations, permitting those activities to fall into multiple categories. The classification system distinguishes 44 disciplines, 718 fields and 1,485 subfields among 160 million abstract snippets in Microsoft Academic Graph (version 2018-05-17). We used batch training in a modularized and distributed fashion to address and allow for interdisciplinary and interfield classifications in single-label and multi-label settings. In total, we have conducted 3,140 experiments in all considered models (Convolutional Neural Networks, Recurrent Neural Networks, Transformers). The classification accuracy is > 90% in 77.13% and 78.19% of the single-label and multi-label classifications, respectively. We examine the advantages of our classification by its ability to better align research texts and output with disciplines, to adequately classify them in an automated way, and to capture the degree of interdisciplinarity. The proposed system (a set of pre-trained models) can serve as a backbone to an interactive system for indexing scientific publications in the future.

研究动机与目标

• 开发一种统一、可扩展且自动化的跨所有学术学科的学术出版物分层分类系统。
• 实现多标签分类，以捕捉跨学科和跨领域的研究活动。
• 构建一个标准化、细粒度的研究领域分类体系（学科-领域-子领域），确保各学科间粒度一致。
• 通过提供跨学科和子领域的标准化分类，支持元科学研究分析，实现影响力与绩效的可比性。
• 为未来交互式科学出版物索引系统提供预训练模型主干。

提出的方法

• 该系统采用三级分层结构：学科 → 领域 → 子领域，其中44个学科、718个领域和1,485个子领域源自跨学科资源，如维基百科、JEL、ACM和PACS。
• 文本向量化包括分词、转小写、标点符号移除，并将输入截断至200个词符。
• 采用模块化、分布式和批量训练方法，在CNN、RNN和Transformer架构上共训练3,140个实验。
• 模型使用Softmax输出层，估算各层级上的无条件概率（P(p ∈ D)）和条件概率（P(p ∈ Fi | p ∈ D)）。
• 超参数基于硕士论文中的消融研究确定，标准模型使用RMSProp（学习率0.001），BERT模型使用Adam（2e-5）。
• 通过允许多个子领域预测，支持多标签分类，从而实现对跨学科性的准确检测。

实验结果

研究问题

• RQ1 深度学习模型能否在所有学术学科中实现高精度、多标签的分层分类？
• RQ2 与平面多分类方法相比，该模型的分层结构在分类性能上有多大提升？
• RQ3 该系统在多大程度上能通过为单篇论文分配多个子领域标签来捕捉跨学科研究？
• RQ4 不同神经网络架构（CNN、RNN、Transformer）在将摘要分类至细粒度多级分类体系中的表现如何？
• RQ5 通过提供一致且可扩展的分类体系，该系统能否支持跨学科的标准化影响力与绩效分析？

主要发现

• 该系统在所有测试模型中实现了77.13%的单标签分类准确率和78.19%的多标签分类准确率。
• 表现最佳的模型——主要为Transformer和微调后的BERT——在大多数分类任务中准确率超过90%。
• 分层设计有效支持多标签预测，使论文可被分类至多个子领域和领域，从而准确捕捉跨学科性。
• 模块化、分布式训练流程成功扩展至1.6亿篇摘要，实现了高效且稳健的模型训练。
• 由于采用迁移学习和共享嵌入空间，该系统在各学科中均表现出强泛化能力，包括标注数据有限的学科。
• 本项目提供公开可访问的代码库，包含718个领域标签和映射表，支持可复现性，并可集成至未来系统中。