[論文レビュー] Longitudinal Citation Prediction using Temporal Graph Neural Networks

Andreas Nugaard Holm, Barbara Plank+2 more|VBN Forskningsportal (Aalborg Universitet)|Dec 10, 2020

Advanced Graph Neural Networks参考文献 27被引用数 7

ひとこと要約

本稿では、動的引用ネットワークをGCN-LSTMエンコーダデコーダアーキテクチャを用いて時系列タスクとして扱う縦断的引用予測を導入し、トポロジーと時間的情報を統合的に活用する。提案モデルは、時間経過に伴う進化する引用軌道を捉えることで、ベースラインを著しく上回る性能を発揮し、著者特徴量が引用増加を予測する上で最も予測力が高いことが判明した。

ABSTRACT

Citation count prediction is the task of predicting the number of citations a paper has gained after a period of time. Prior work viewed this as a static prediction task. As papers and their citations evolve over time, considering the dynamics of the number of citations a paper will receive would seem logical. Here, we introduce the task of sequence citation prediction. The goal is to accurately predict the trajectory of the number of citations a scholarly work receives over time. We propose to view papers as a structured network of citations, allowing us to use topological information as a learning signal. Additionally, we learn how this dynamic citation network changes over time and the impact of paper meta-data such as authors, venues and abstracts. To approach the new task, we derive a dynamic citation network from Semantic Scholar spanning over 42 years. We present a model which exploits topological and temporal information using graph convolution networks paired with sequence prediction, and compare it against multiple baselines, testing the importance of topological and temporal information and analyzing model performance. Our experiments show that leveraging both the temporal and topological information greatly increases the performance of predicting citation counts over time.

研究の動機と目的

• 従来の引用予測研究では引用数を静的ターゲットとして扱うが、本研究ではこれを動的変化する系列として扱う限界を是正する。
• 単一の将来値を予測するのではなく、引用数の全軌道を予測するという画期的なタスクを導入する。
• 学術的引用の時間的変化をモデル化するため、42年間にわたる動的引用ネットワークをSemantic Scholarデータセットを用いて構築する。
• 引用グラフ（トポロジー構造）と引用増加（時間的ダイナミクス）の両者が引用予測に与える影響を共同で調査する。
• 著者、会議、トピックといったメタデータ特徴量が、進化する引用ネットワークの文脈においてどれほど予測力を持つのかを評価する。

提案手法

• Semantic Scholarデータセットから、42年間にわたって毎年更新される動的引用ネットワークを構築し、ノードを論文、エッジを引用関係とする。
• 各時刻における引用グラフのトポロジー特徴量を、グラフ畳み込みネットワーク（GCN）を用いて符号化し、引用者と被引用者間の構造的関係を捉える。
• 長短期記憶（LSTM）ネットワークを用いて、時系列にわたる引用数の時間的変化をモデル化し、引用増加の軌道を学習する。
• GCN埋め込みと順序モデリングを統合するGCN-LSTMエンコーダデコーダモデルを設計し、将来の時刻における引用数を予測する。
• 引用数系列の平均絶対誤差（MAE）損失を用いてモデルを訓練し、トポロジー的および時間的要因の寄与を分離するためのアブレーションスタディを実施する。
• ノード特徴量としてメタデータ（著者、会議、要約）を組み込み、アブレーションを用いて個々の特徴量の予測力を評価する。

実験結果

リサーチクエスチョン

• RQ1 動的グラフとしての引用ネットワークをモデル化することで、静的予測アプローチに比べて引用数軌道の予測性能が向上するか？
• RQ2 トポロジー特徴量（引用グラフ構造）と時間的ダイナミクス（時間経過に伴う引用増加）は、予測性能の向上にどの程度寄与するか？
• RQ3 著者、会議、トピックといったメタデータ特徴量の中で、学術的論文の長期的引用増加を最もよく予測するのはどれか？
• RQ4 GCN-LSTMモデルは、10年と20年という異なる予測期間において、単独のGCNおよびLSTMベースラインと比較してどの程度優れているか？
• RQ5 著者や会議といった特徴量の予測力は、異なる引用増加パターンに応じて体系的に変化するか？

主な発見

• GCN-LSTMモデルは、すべての時刻で最小の平均絶対誤差（MAE）を達成し、単独のGCNおよびLSTMモデルを上回る性能を示し、トポロジーと時間の両方を統合的にモデリングすることの利点を裏付けた。
• GCN-LSTMモデルは時間経過に伴っても安定した性能を維持し、約10年目で誤差が頭打ちになる一方、単独モデルはこの時点以降に性能が低下する傾向を示した。
• アブレーションスタディにより、著者メタデータが最も予測力が高く、引用軌道予測における性能向上が最大であった。
• 会議メタデータは特徴量の中で最も性能が低く、OCRエラー、スペルのばらつきなどによるノイズや一貫性の欠如が要因と考えられるが、データセット内での出現頻度は高い。
• 予測精度は引用数が多い論文で高くなる傾向にあり、高次数ノード（すなわち、高被引用論文）ではMAEが低く抑えられていることから、高インパクト論文の一般化性能が優れていることが示唆された。
• GCN単体では、10年から20年予測期間への移行に伴い誤差が増加しており、静的グラフモデリングでは長期的な引用ダイナミクスを効果的に捉えられていないことが示された。