[論文レビュー] Can your paper evade the editors axe? Towards an AI assisted peer review system

Tirthankar Ghosal, Rajeev Verma+7 more|arXiv (Cornell University)|Feb 5, 2018

Advanced Text Analysis Techniques被引用数 1

ひとこと要約

本稿では、分野外や品質が低いとしてのデスクレジェクションを特定することで、デスクレジェクションを自動化するAI支援型ピアレビュー体制を提案する。キーワード分析、引用パターン、著者評判、承認済み論文との類似性からの特徴工学を活用し、教師あり機械学習を適用することで、3つの学術雑誌で有望な結果が得られた。

ABSTRACT

This work is an exploratory study of how we could progress a step towards an AI assisted peer- review system. The proposed approach is an ambitious attempt to automate the Desk-Rejection phenomenon prevalent in academic peer review. In this investigation we first attempt to decipher the possible reasons of rejection of a scientific manuscript from the editors desk. To seek a solution to those causes, we combine a flair of information extraction techniques, clustering, citation analysis to finally formulate a supervised solution to the identified problems. The projected approach integrates two important aspects of rejection: i) a paper being rejected because of out of scope and ii) a paper rejected due to poor quality. We extract several features to quantify the quality of a paper and the degree of in-scope exploring keyword search, citation analysis, reputations of authors and affiliations, similarity with respect to accepted papers. The features are then fed to standard machine learning based classifiers to develop an automated system. On a decent set of test data our generic approach yields promising results across 3 different journals. The study inherently exhibits the possibility of a redefined interest of the research community on the study of rejected papers and inculcates a drive towards an automated peer review system.

研究の動機と目的

• 学術的ピアレビューにおけるデスクレジェクションの背後的原因を調査すること。
• スコープ不適合または低品質の理由でデスクレジェクションとなるかどうかを予測する自動化システムを開発すること。
• キーワードの関連性、引用分析、著者／所属機関の評判、承認済み論文との類似性といった複数の特徴を統合し、統一された予測モデルを構築すること。
• 実際の雑誌データを用いた機械学習による初期段階のマニュスクリーディングの自動化の可能性を評価すること。

提案手法

• キーワードベースの意味的分析と、以前に承認された論文との類似性を用いて、論文のスコープ関連の特徴を抽出する。
• 引用パターンを分析し、引用された文献の学術的インパactsと関連性を評価する。
• 著者および所属機関の評判指標を統合し、論文の信頼性を推定する。
• 内容の類似性に基づいて論文をクラスタリングし、外れ値または不適合の提出物を特定する。
• ラベル付きデータを用いて教師あり機械学習分類器を訓練し、デスクレジェクションの結果を予測する。
• 複数の特徴を統合して、拒否の可能性に応じて論文をスコア化する統一されたスコアリングシステムを構築する。

実験結果

リサーチクエスチョン

• RQ1 学術的ピアレビューにおけるデスクレジェクションの主な理由は何であるか？
• RQ2 論文の特徴に基づいて、機械学習がどれほどデスクレジェクションを予測できるか？
• RQ3 キーワードの関連性、引用の質、承認済み論文との類似性といった特徴が、拒否意思決定とどの程度相関しているか？
• RQ4 自動化システムは、分野外のものと低品質のものとの区別を信頼性を持って行えるか？

主な発見

• 提案されたシステムは、3つの異なる雑誌においてデスクレジェクションの予測において有望なパフォーマンスを達成した。
• キーワード分析、引用パターン、承認済み論文との類似性といった特徴の統合が、予測精度を顕著に向上させた。
• 自然言語処理と機械学習技術の組み合わせにより、分野外または低品質の理由で拒否された論文を効果的に同定できた。
• 本研究では、AIを用いた初期段階のマニュスクリーディングの自動化の可能性が実証された。