[論文レビュー] Simplified Relative Citation Ratio for Static Paper Ranking: UFMG/LATIN at WSDM Cup 2016

Sabir Ribas, Alberto Ueda+3 more|arXiv (Cornell University)|Mar 4, 2016

Advanced Graph Neural Networks参考文献 9被引用数 7

ひとこと要約

本論文は、ハイパラメータチューニングを必要とせず、共著者引用ネットワークを活用して学術論文をランク付けする相対的引用比（RCR）の簡素化版であるS-RCRを導入する。1200万件の論文を含むMicrosoft Academic Graphにおいて、この1つの特徴量のみを用いて、WSDMカップ2016で3位を達成した。これは、洗練された単一の特徴量が、より計算コストが低く、解釈性の高い複雑なモデルを上回ることを示している。

ABSTRACT

Static rankings of papers play a key role in the academic search setting. Many features are commonly used in the literature to produce such rankings, some examples are citation-based metrics, distinct applications of PageRank, among others. More recently, learning to rank techniques have been successfully applied to combine sets of features producing effective results. In this work, we propose the metric S-RCR, which is a simplified version of a metric called Relative Citation Ratio --- both based on the idea of a co-citation network. When compared to the classical version, our simplification S-RCR leads to improved efficiency with a reasonable effectiveness. We use S-RCR to rank over 120 million papers in the Microsoft Academic Graph dataset. By using this single feature, which has no parameters and does not need to be tuned, our team was able to reach the 3rd position in the first phase of the WSDM Cup 2016.

研究の動機と目的

• 大規模な学術グラフにおける静的論文ランク付けのための効率的で、パラメータフリーの指標を開発すること。
• 従来の引用ベースおよびグラフベースの手法と比較して、計算複雑性を低減しつつランク付けの有効性を向上させること。
• 複雑な学習に基づくランク付けモデルに比べて、1つの洗練された特徴量が学術的ランク付けタスクで優れるかどうかを評価すること。
• 調整可能なパラメータや広範な特徴工学に依存せずに、Microsoft Academic Graphにおける論文のランク付けの課題に対処すること。

提案手法

• 共著者引用ネットワーク構造に基づき、相対的引用比（RCR）の簡素化版であるS-RCRを提案する。
• 共著者引用関係を用いて、論文の分野内での相対的影響を反映する正規化された引用スコアを計算する。
• Microsoft Academic Graphにこの指標を適用し、約5000万件の引用リンク付き論文を処理する。
• C++を用いてグラフ処理を実装し、Python、Pandas、Jupyterを活用してデータ処理の効率性を確保する。
• モデル学習やハイパラメータチューニングを必要とせず、1つの非調整可能な特徴量を用いてランク付けを実行する。
• 専門家研究者によるペアワイズ人間評価を用いてランク付けを評価し、公開および非公開のテストセットでスコアを報告する。

実験結果

リサーチクエスチョン

• RQ1 簡素化され、パラメータフリーの引用指標は、従来の引用数やPageRankを上回るか？
• RQ2 学術的ランク付けタスクにおいて、複雑な学習に基づくランク付けモデルと比較して、1つの洗練された特徴量はどの程度有効か？
• RQ3 S-RCR指標は、著しく計算効率を向上させつつも、高い有効性を維持できるか？
• RQ4 RCRの簡素化が、大規模な学術グラフにおけるランク付け品質をどの程度保持できるか？

主な発見

• S-RCR指標は、WSDMカップ2016の第1フェーズで公開リーダーボードスコア0.697を達成し、全体で3位となった。
• 非公開テストセットではスコア0.671を記録し、参加32チーム中3位となった。
• 24コアのマシン上で、最終的なランク付けファイルの生成にわずか1時間50分で完了し、高い計算効率を示した。
• 公開リーダーボードにおいて、S-RCRは引用数（0.675）とPageRank（0.687）をそれぞれ3.3%および1.8%上回った。
• 非公開セットでのスコア低下（0.697 → 0.671）は控えめであり、他のチームと比較して過学習が顕著でないことが示唆された。
• 結果として、単一の解釈可能で、調整不能な特徴量を用いることで、効果的なランク付けが達成可能であり、複雑なモデルの必要性を疑問視するものとなった。