[论文解读] Deep Paper Gestalt

Jia‐Bin Huang|arXiv (Cornell University)|Dec 20, 2018

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出了一种基于深度学习的分类器，仅通过视觉外观（论文整体形态）评估论文质量，在区分优质与劣质论文方面达到了92%的准确率。该方法可安全地拒绝50%的低质量投稿，同时仅将0.4%的优质论文误判为劣质，显著减轻审稿人工作负担，并为作者提供了通过可视化与基于生成对抗网络（GAN）的图像转换来优化论文版式布局的诊断工具。

ABSTRACT

Recent years have witnessed a significant increase in the number of paper submissions to computer vision conferences. The sheer volume of paper submissions and the insufficient number of competent reviewers cause a considerable burden for the current peer review system. In this paper, we learn a classifier to predict whether a paper should be accepted or rejected based solely on the visual appearance of the paper (i.e., the gestalt of a paper). Experimental results show that our classifier can safely reject 50% of the bad papers while wrongly reject only 0.4% of the good papers, and thus dramatically reduce the workload of the reviewers. We also provide tools for providing suggestions to authors so that they can improve the gestalt of their papers.

研究动机与目标

• 为应对计算机视觉领域会议投稿量持续上升导致的同行评审负担日益加重的问题。
• 开发一种基于视觉的分类器，仅通过论文的“整体形态”（版式、格式、视觉结构）预测论文的可接受性。
• 为作者提供可操作的反馈，以改善其投稿的视觉质量与结构。
• 通过将分类器部署为评审流程中的预筛选模块，减轻审稿人工作负担。
• 构建诊断工具，可视化关键判别区域，并将低质量论文转换为结构更优的版本。

提出的方法

• 在2013–2017年ICCV与CVPR会议及研讨会论文上训练了一个深度卷积神经网络（ConvNet），根据视觉外观将论文分类为优质或劣质。
• 构建数据集时使用开放获取的会议论文作为正样本（优质论文），研讨会论文作为近似负样本（劣质论文），并筛选出页数不少于7页的文档。
• 使用pdf2image将PDF文件转换为图像网格（每篇论文采用2×4的版式布局）作为模型输入。
• 采用Grad-CAM可视化类别特异性判别区域，识别出区分优质与劣质论文的关键版式特征。
• 训练了一个基于CycleGAN的无配对图像到图像转换模型，将劣质论文转换为视觉上更优、类似优质论文的版本。
• 利用条件生成对抗网络（conditional GAN）生成合成优质论文，以学习高质量论文版式分布。

实验结果

研究问题

• RQ1 深度学习模型能否仅基于视觉版式与格式准确分类论文质量？
• RQ2 此类模型在通过预筛选机制拒绝低质量投稿方面，能在多大程度上减轻审稿人工作负担？
• RQ3 视觉诊断工具在识别版式缺陷并提出改进建议方面，效果如何？
• RQ4 基于GAN的图像转换模型能否从低质量论文中生成合理且高质量的版式布局？
• RQ5 该模型在未见的未来会议投稿上具有多强的泛化能力？

主要发现

• 该分类器在CVPR 2018年论文上达到92%的准确率，表明其从2013–2017年训练数据中具有强大的泛化能力。
• 模型可安全拒绝50%的低质量投稿，同时仅将0.4%的高质量论文错误分类为劣质。
• Grad-CAM可视化结果表明，模型重点关注关键版式元素，如图表位置、文字与视觉内容的平衡性以及格式的一致性。
• 基于CycleGAN的图像转换模型成功提出了实用的版式改进建议，包括添加引人注目的图表、增强图表色彩、填补内容不完整的页面等。
• 优质论文生成器能够生成视觉上合理、结构均衡的版式，正确排列图表、表格、公式与文字内容。
• 该系统运行高效，可在数秒内分类数千篇论文，适用于大规模评审流程中的预筛选。