[論文レビュー] Automatic Academic Paper Rating Based on Modularized Hierarchical Convolutional Neural Network

Pengcheng Yang, Xu Sun+2 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 17被引用数 7

ひとこと要約

本稿では、LATEXソースとメタデータを用いた自動学術論文評価（AAPR）という新しいタスクを導入し、モジュラーな階層的畳み込みニューラルネットワークを用いて論文採択を予測することで、査読の負担軽減を図る。モデルは、タイトル、要旨、手法などの構造的要素を多段階のアテンションとCNNで処理し、67.7%の精度を達成。著者と結論が最も影響力のあるモジュールであることが判明。

ABSTRACT

As more and more academic papers are being submitted to conferences and journals, evaluating all these papers by professionals is time-consuming and can cause inequality due to the personal factors of the reviewers. In this paper, in order to assist professionals in evaluating academic papers, we propose a novel task: automatic academic paper rating (AAPR), which automatically determine whether to accept academic papers. We build a new dataset for this task and propose a novel modularized hierarchical convolutional neural network to achieve automatic academic paper rating. Evaluation results show that the proposed model outperforms the baselines by a large margin. The dataset and code are available at \url{https://github.com/lancopku/AAPR}

研究の動機と目的

• 国際会議や学術誌における手作業による学術論文評価の負担増に対処する。
• LATEXソースとメタデータを用いた自動化により、査読の主観性と一貫性の欠如を軽減する。
• 構造的・意味的特徴に基づき論文採択を予測する新しいタスク「自動学術論文評価（AAPR）」を導入する。
• 自動学術評価分野の研究を支援するため、AAPR用の新しいデータセットを構築する。
• 学術論文の階層的・モジュラー構造を捉える深層学習モデルを開発し、評価性能の向上を図る。

提案手法

• 論文を構造的モジュール（例：タイトル、要旨、序論、手法、結論）に分割し、モジュラー処理を実施する。
• 各モジュールから階層的表現を抽出するため、単語レベルおよび文レベルのアテンションベースのCNNを適用する。
• 著者表現には重み付き平均プーリングを用い、著者名に学習可能なアテンション重みを割り当てる。
• モジュールレベルの表現をアテンションプーリング層で集約し、論文レベルの表現を形成する。
• 論文レベルの表現に対してソフトマックス層を適用し、採択確率を予測する。
• トレーニング中に交差エントロピー損失を最適化することで、分類精度の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 LATEXソースとメタデータのみを用いて、深層学習モデルが学術論文の採択を効果的に予測できるか？
• RQ2 論文のどの構造的要素が採択予測に最も顕著な影響を与えるか？
• RQ3 モジュラーな階層的CNNアーキテクチャは、標準的なモデルと比較してAAPRの性能をどのように向上させるか？
• RQ4 アテンション機構の導入が、モデルの顕著なコンテンツ同定能力をどの程度向上させるか？
• RQ5 提案モデルは、多様な学術論文構造やコンテンツタイプに一般化して適応できるか？

主な発見

• 提案されたモジュラーな階層的CNNは、すべてのベースラインを上回り、AAPRタスクで67.7%の精度を達成した。
• 著者モジュールを除外した場合、性能が最も著しく低下（精度3.1%の低下）し、著者が最も影響力のある要因であることが示された。
• 要旨と結論モジュールは、それぞれ2.2%および2.7%の精度低下を示し、予測に第二および第三に大きな影響を与えた。
• 手法モジュールは最も影響が小さく、除外した場合の精度低下はわずか1.5%にとどまり、手法記述の多様性が顕著に現れた。
• タイトルは最も影響が小さく、除外した場合の精度低下は1.1%にとどまり、タイトルのみからでは予測力に限界があることが示された。
• すべてのアブレーション結果は統計的に有意（p ≤ 0.05）であり、モジュール影響分析の堅牢性が確認された。