[论文解读] Automatic Academic Paper Rating Based on Modularized Hierarchical Convolutional Neural Network

Pengcheng Yang, Xu Sun+2 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 17被引用 7

一句话总结

本文提出了一项新任务——自动学术论文评分（AAPR）——通过使用模块化分层卷积神经网络，预测论文是否被接受，以辅助同行评审。该模型通过多级注意力机制和CNN处理论文的结构化组件（如标题、摘要、方法等），实现了67.7%的准确率，其中作者和结论部分对预测结果影响最大。

ABSTRACT

As more and more academic papers are being submitted to conferences and journals, evaluating all these papers by professionals is time-consuming and can cause inequality due to the personal factors of the reviewers. In this paper, in order to assist professionals in evaluating academic papers, we propose a novel task: automatic academic paper rating (AAPR), which automatically determine whether to accept academic papers. We build a new dataset for this task and propose a novel modularized hierarchical convolutional neural network to achieve automatic academic paper rating. Evaluation results show that the proposed model outperforms the baselines by a large margin. The dataset and code are available at \url{https://github.com/lancopku/AAPR}

研究动机与目标

• 应对会议和期刊中学术论文人工评审负担日益加重的问题。
• 通过使用LaTeX源文件和元数据自动化论文评分，减少同行评审中的主观性和不一致性。
• 提出一项新任务——自动学术论文评分（AAPR），基于结构化和语义特征预测论文接受情况。
• 构建一个新的AAPR数据集，以支持自动化学术评估研究。
• 开发一种深度学习模型，捕捉学术论文的分层和模块化结构，以提升评分性能。

提出的方法

• 将学术论文划分为结构化模块（如标题、摘要、引言、方法、结论等），实现模块化处理。
• 对每个模块应用基于词级别和句子级别的注意力机制CNN，以提取分层表征。
• 使用加权平均池化层处理作者表征，其中作者姓名的注意力权重可学习。
• 通过注意力池化层聚合各模块的表征，形成论文级别的表征。
• 在论文级别表征上应用Softmax层，预测论文被接受的概率。
• 在训练过程中使用交叉熵损失优化模型，以提高分类准确率。

实验结果

研究问题

• RQ1 仅使用LaTeX源文件和元数据，深度学习模型能否有效预测学术论文的接受情况？
• RQ2 论文的哪些结构化组件对接受预测的影响最为显著？
• RQ3 与标准模型相比，模块化分层CNN架构在AAPR任务中如何提升性能？
• RQ4 注意力机制的引入在多大程度上增强了模型识别关键内容的能力？
• RQ5 所提出的模型在不同学术论文结构和内容类型上是否具备良好的泛化能力？

主要发现

• 所提出的模块化分层CNN在所有基线模型中表现最佳，在AAPR任务上达到67.7%的准确率。
• 移除作者模块导致性能下降最大（准确率降低3.1%），表明作者是影响最大的因素。
• 摘要和结论模块对预测的影响位居第二和第三，分别造成2.2%和2.7%的准确率下降。
• 方法模块对性能影响最小，移除后仅导致1.5%的准确率下降，表明方法部分的表达方式差异较大。
• 标题对预测影响最小，移除后仅造成1.1%的准确率下降，表明仅凭标题难以有效预测接受情况。
• 所有消融实验结果均具有统计显著性（p ≤ 0.05），证实了模块影响分析的稳健性。