[論文レビュー] Simple Yet Effective Methods for Large-Scale Scholarly Publication Ranking

Drahomíra Herrmannová, Petr Knoth|arXiv (Cornell University)|Nov 16, 2016

Web Data Mining and Analysis参考文献 13被引用数 5

ひとこと要約

本論文は、Microsoft Academic Graphを用いて、著者、会議（会議の重要度）、引用の時間的減衰を組み合わせた重み付きスコアを用いる、透明性があり引用に基づくスコアリング手法を提示している。WSDM Cup 2016で最高の性能を達成した。この手法は単純さと解釈可能性に重点を置き、より複雑な代替手法に比べ優れた性能を示したが、引用以外の影響の微細な側面を捉える能力に制限がある。

ABSTRACT

With the growing amount of published research, automatic evaluation of scholarly publications is becoming an important task. In this paper we address this problem and present a simple and transparent approach for evaluating the importance of scholarly publications. Our method has been ranked among the top performers in the WSDM Cup 2016 Challenge. The first part of this paper describes our method. In the second part we present potential improvements to the method and analyse the evaluation setup which was provided during the challenge. Finally, we discuss future challenges in automatic evaluation of papers including the use of full-texts based evaluation methods.

研究の動機と目的

• 研究出力の爆発的増加に伴い、学術的出版物の重要性を自動的に評価するという課題の増大に対処すること。
• 複雑な機械学習モデルに依存せずに、単純で解釈可能で透明性のある学術的出版物ランク付け手法を開発すること。
• 現在の評価フレームワークで支配的である引用ベースの指標の代替策を検討すること。
• 今後の改善のため、全文解析（semantometrics）および外部データ（altmetrics、webometrics）の統合の可能性を調査すること。
• 評価設定の限界、特に引用数へのバイアスの可能性と人間の判断データの不透明性を特定すること。

提案手法

• 出版物のスコアを、6つの成分スコア（出版物の引用数 s_pub、年齢補正済み引用数 s_age、出版物ランク s_pr、著者スコア s_auth、会議（会議の重要度）スコア s_venue、機関スコア s_inst）の線形結合で算出する。
• 時間的減衰関数 f(t) = e^(-α(t_c - t)) を適用する。ここで t_c は現在の年、t は出版年である。これにより、古い引用の重みを低下させる。
• 学習データから得た重みではなく、経験的に導かれた重みを最終スコア式に使用する：score(p) = 2.5·s_pub + 0.1·s_age + 1.0·s_pr + 1.0·s_auth + 0.1·s_venue + 0.01·s_inst。
• 著者および会議スコアを、関連する出版物の集積的重みに基づいて算出し、学術的ネットワークを通じた影響の伝播を可能にする。
• 教師あり学習データが存在しないため、機械学習による重みのキャリブレーションを避ける。代わりに、実験的チューニングに依存する。
• Microsoft Academic Graph（6つのエンティティタイプと引用関係を含む）を用いて、WSDM Cup 2016ベンチマークで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 引用の時間的減衰とエンティティレベルのスコアを組み合わせた、単純で透明性があり学習を行わない手法が、より複雑なモデルを上回る性能を発揮できるか？
• RQ2 WSDM Cup 2016チャレンジで使用された評価データは、引用数への人間の判断バイアスをどの程度反映しているか？
• RQ3 altmetrics、webometrics、semantometricsといった代替指標は、引用以外の影響をどの程度正しく捉えられるか？
• RQ4 新しい非引用ベースのランク付け手法の開発をより効果的に支援するため、現在の評価フレームワークにどのような改善が可能か？
• RQ5 全文解析（semantometrics）は学術的出版物評価を顕著に向上させられるか？その統合に課題となる障壁は何か？

主な発見

• 提案手法はWSDM Cup 2016チャレンジで上位10位以内の成績を達成し、単純で透明性があり学習を行わないアプローチが極めて有効であることを示した。
• 指数的時間減衰（α = 0.1）を適用した引用数が、最も優れた単一の成分スコアを生み出し、引用の影響における時間的関連性の重要性を浮き彫りにした。
• 経験的にチューニングされた重み（例：s_pub に 2.5、s_auth と s_pr に 1.0）を用いた最終スコア式は、他の組み合わせを上回り、優れた一般化性能を示した。
• altmetrics や webometrics といった外部データソースを検討したが、顕著な改善は得られず、評価フレームワークにおいて引用ベースの信号が依然として支配的であることを示唆した。
• 評価データセットには引用数へのバイアスが含まれている可能性が高く、引用数のみに依存する手法が高得点を獲得した。また、人間の判断データの不透明性は、過学習のリスクを高める。
• 全文データ（semantometrics）の統合は有望な今後の方向性であるが、著作権制限やMAGデータセットにおける全文へのアクセス不能という制限により、実現が困難である。