[論文レビュー] Modeling and Predicting Citation Count via Recurrent Neural Network with Long Short-Term Memory

Sha Yuan, Jie Tang+3 more|arXiv (Cornell University)|Nov 6, 2018

scientometrics and bibliometrics research参考文献 10被引用数 14

ひとこと要約

本稿では、内在的質、老化効果、マシュー効果、レセントネス効果の4つの主要な現象を統合することで、個々の科学的出版物の長期的引用回数を予測するための長短期記憶（LSTM）再帰的ニューラルネットワークモデルを提案する。大規模な実際の引用データセットを用いた実験により、本モデルは従来の手法よりも顕著に優れた引用回数予測精度を示した。

ABSTRACT

The rapid evolution of scientific research has been creating a huge volume of publications every year. Among the many quantification measures of scientific impact, citation count stands out for its frequent use in the research community. Although peer review process is the mainly reliable way of predicting a paper's future impact, the ability to foresee lasting impact on the basis of citation records is increasingly important in the scientific impact analysis in the era of big data. This paper focuses on the long-term citation count prediction for individual publications, which has become an emerging and challenging applied research topic. Based on the four key phenomena confirmed independently in previous studies of long-term scientific impact quantification, including the intrinsic quality of publications, the aging effect and the Matthew effect and the recency effect, we unify the formulations of all these observations in this paper. Building on a foundation of the above formulations, we propose a long-term citation count prediction model for individual papers via recurrent neural network with long short-term memory units. Extensive experiments on a real-large citation data set demonstrate that the proposed model consistently outperforms existing methods, and achieves a significant performance improvement.

研究の動機と目的

• ビッグデータ時代の科学的出版において、正確な長期的引用回数予測の増大するニーズに対応すること。
• 科学的インパクトにおける4つの経験的に妥当な現象（内在的質、老化効果、マシュー効果、レセントネス効果）を統合し、一元的な予測フレームワークを構築すること。
• 長期間にわたり個々の出版物の時間的引用ダイナミクスを捉えることが可能なディープラーニングモデルを開発すること。
• 長短期記憶ユニットを用いた系列モデリングを活用することで、既存の予測手法を上回ること。

提案手法

• 内在的質（論文固有のインパクトポテンシャル）、老化効果（時間経過による引用減少）、マシュー効果（豊かなるものに富むダイナミクス）、レセントネス効果（最近の引用がより高い影響を持つ）の4つの主要な現象を統合して、引用予測問題を定式化する。
• 時間的な系列的引用パターンをモデル化するため、長短期記憶（LSTM）ユニットを強化した再帰的ニューラルネットワーク（RNN）アーキテクチャを設計する。
• 歴史的引用回数を入力系列として用い、LSTMモデルを訓練して、さまざまな長期的期間における将来の引用回数を予測する。
• 4つの現象をLSTMフレームワーク内に統合し、動的インパクト軌道のエンドツーエンド学習を可能にする、微分可能な定式化を実現する。
• 多様な科学的分野にわたる実証的妥当性を確保するため、大規模な実際の引用データセットを訓練および評価に使用する。
• 標準的なディープラーニング訓練手順（時間方向の誤差逆伝播、予測誤差の損失最小化など）を用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのモデルは、個々の科学的出版物の長期的引用ダイナミクスを効果的に捉えることができるか？
• RQ2 内在的質、老化効果、マシュー効果、レセントネス効果の統合的モデリングは、予測性能をどの程度向上させるか？
• RQ3 本モデルは、正確性と頑健性の観点から、既存の引用予測手法をどの程度上回るか？
• RQ4 本モデルは、実際の引用データにおいて、多様な科学的分野および出版タイプに一般化可能か？

主な発見

• 提案されたLSTMベースのモデルは、大規模な実際の引用データセットにおいて、既存の引用予測手法を一貫して上回った。
• 質、老化、マシュー効果、レセントネスの4つの主要な現象を統合したフレームワークの統合が、予測性能の向上に寄与した。
• 本モデルは、長期的引用回数予測において顕著な性能向上を達成し、複雑な時間的ダイナミクスを捉える有効性を示した。
• 結果から、LSTMによる系列モデリングが、短期トレンドを越えた科学的インパクト予測に非常に効果的であることが確認された。