[論文レビュー] Static Ranking of Scholarly Papers using Article-Level Eigenfactor (ALEF)

Ian Wesley-Smith, Carl T. Bergstrom+1 more|arXiv (Cornell University)|Jun 28, 2016

Complex Network Analysis Techniques参考文献 14被引用数 40

ひとこと要約

本稿では、引用ネットワークに基づくランク付けアルゴリズムとして、Article-Level Eigenfactor (ALEF) を導入する。ALEF は引用グラフにおける固有ベクトル中心性を用いて、学術論文の重要性を計算する。2016年 WSDM カップ チャレンジで評価された結果、ALEF は 0.676 のスコアを達成し、2位となり、メタデータを一切使用せず、引用データのみを用いても、degree centrality よりも優れた性能を示した。

ABSTRACT

Microsoft Research hosted the 2016 WSDM Cup Challenge based on the Microsoft Academic Graph. The goal was to provide static rankings for the articles that make up the graph, with the rankings to be evaluated against those of human judges. While the Microsoft Academic Graph provided metadata about many aspects of each scholarly document, we focused more narrowly on citation data and used this contest as an opportunity to test the Article Level Eigenfactor (ALEF), a novel citation-based ranking algorithm, and evaluate its performance against competing algorithms that drew upon multiple facets of the data from a large, real world dataset (122M papers and 757M citations). Our final submission to this contest was scored at 0.676, earning second place.

研究の動機と目的

• 学術論文の静的ランク付けにおいて、引用に基づくランク付けアルゴリズムである Article-Level Eigenfactor (ALEF) の有効性を評価すること。
• Microsoft Academic Graph からの複数のデータモダリティを活用する手法と、引用データのみを用いる手法とを比較して、ALEF の性能を検証すること。
• 論文レベルの引用から著者レベルのスコアを推定することで、ランク付けのカバレッジと正確性が向上するかどうかを調査すること。
• 1億2200万件の論文および7億5700万件の引用を含む大規模引用ネットワーク上で、ALEF のスケーラビリティとロバストネスを評価すること。
• 機械学習的手法の増加する競合に直面しても、ネットワークベースの手法のみで高い性能を達成できるかどうかを検証すること。

提案手法

• ALEF は、各論文の重要性がその引用元論文の重要性に依存するという仕組みで、引用ネットワークに固有ベクトル中心性を適用する。行列演算による反復的計算でスコアが算出される。
• 収束性とカバレッジの向上を図るため、ランダムウォークにトランジットパラメータを組み込み、degree centrality よりも多くの論文に非ゼロスコアを割り当てる。
• ALEF は、タイトル、著者、出版会議などのメタデータに依存せず、Microsoft Academic Graph の引用リンクのみを入力として、トレーニングおよび評価が行われる。
• 著者レベルのスコアは、各著者に関連する論文の ALEF スコアを集約することで推定され、ランク付け対象のエンティティ数が増加する。
• 本手法は静的ランク付けフレームワークを採用しており、ユーザーのクエリや動的信号への適応は行わず、引用グラフ内の構造的重みにのみ焦点を当てる。
• 性能評価にはペairwise ランキング指標が用いられ、モデルが予測した論文ペairの順序と、人間がアノテートした順序を比較する。

実験結果

リサーチクエスチョン

• RQ1 タイトルや著者、会議名などの追加メタデータを一切使用せず、引用ネットワークのみに依存する手法として ALEF が、静的学術論文ランク付けで高い性能を達成できるか。
• RQ2 大規模引用ネットワークにおいて、ALEF は degree centrality よりも精度とカバレッジで優れているか。
• RQ3 ALEF スコアから論文レベルのスコアを推定することで、全体のランク付けカバレッジと性能がどの程度向上するか。
• RQ4 他のデータモダリティと比較して、引用ネットワーク構造に学術的重要性に関する信号がどれほど含まれているか。
• RQ5 制御されたベンチマーク環境下で、ALEF の性能は機械学習ベースの手法と比べてどの程度か。

主な発見

• ALEF は 2016 年 WSDM カップ チャレンジで最終評価スコア 0.676 を達成し、18 件の提出の中から 2 位となった。
• ALEF は、より単純で高速な degree centrality（0.669）をわずかだが上回り、スコアで優位性を示した。
• ALEF は、ランダムウォークプロセスにおけるトランジットの導入により、degree centrality よりも 20% の高いカバレッジを達成した。
• degree centrality と ALEF のスピアーマン順位相関係数は ρ = 0.97 であり、順位順序の類似性が強いが、ALEF は相対的に優れた性能を示した。
• ALEF スコアから著者スコアを推定することで、評価スコアが 0.006 向上し、ランク付け対象のエンティティ数も 14% 増加した。
• 完全にランダムなランク付けは 0.526 のスコアを示し、最良の手法（0.683）がランダムよりわずか 30% 優れていたことから、強力なベースラインがある中でも、このタスクは依然として挑戦的であることが示された。