[論文レビュー] Predicting the future relevance of research institutions - The winning solution of the KDD Cup 2016

Vlad Sandulescu, Mihai Chiru|arXiv (Cornell University)|Sep 9, 2016

Delphi Technique in Research参考文献 1被引用数 49

ひとこと要約

この論文は、KDD Cup 2016 の優勝ソリューションを提示しており、上位カンファレンスでの受入論文数を予測することで、将来の研究機関の関連性を予測するものである。マイクロソフトアカデミックグラフ（MAG）を用いて特徴量工学と勾配ブースティング決定木を適用し、ベースラインの確率的モデルを上回り、コンペティション全体で最高の順位を達成した。

ABSTRACT

The world's collective knowledge is evolving through research and new scientific discoveries. It is becoming increasingly difficult to objectively rank the impact research institutes have on global advancements. However, since the funding, governmental support, staff and students quality all mirror the projected quality of the institution, it becomes essential to measure the affiliation's rating in a transparent and widely accepted way. We propose and investigate several methods to rank affiliations based on the number of their accepted papers at future academic conferences. We carry out our investigation using publicly available datasets such as the Microsoft Academic Graph, a heterogeneous graph which contains various information about academic papers. We analyze several models, starting with a simple probabilities-based method and then gradually expand our training dataset, engineer many more features and use mixed models and gradient boosted decision trees models to improve our predictions.

研究の動機と目的

• 過去の出版記録に基づいて、研究機関の将来の影響力を透明かつデータドリブンな方法で予測する手法の開発。
• 主要な学術カンファレンスにおける機関の影響力の客観的順位付けの課題に取り組む。
• マイクロソフトアカデミックグラフ（MAG）からの時間的トレンドと進化する引用パターンを活用して、予測精度を向上させる。
• 複数のコンペティションフェーズにわたり、特徴量セットとモデルを体系的に評価・チューニングし、NDCG@20 のパフォーマンスを最大化する。
• 公開利用可能な学術データを用いた研究機関の関連性予測のためのスケーラブルで一般化可能なフレームワークを確立する。

提案手法

• 2016年2月のマイクロソフトアカデミックグラフ（MAG）バージョンを用いて、2000年から2015年までの論文、著者、所属機関、引用、キーワードを含むデータセットを構築した。
• 2011年から2015年までの期間にわたり、KDD、SIGIR など上位20機関ごとの論文受入記録を抽出し、過去の関連性をモデル化した。
• 時間窓に基づく特徴量（ローリング平均、中央値、標準偏差、指数平滑移動平均など）を設計し、過去の関連性スコアの動的変化を捉えた。
• 長期的・短期的動的変化を捉えるために、ドリフトトレンド（dt）と指数平滑化（es）といったトレンドベースの特徴量を導入した。
• 特徴量を用いて勾配ブースティング決定木（GBDT）モデルを訓練し、NDCG@20 を最適化するため、複数のハイパーパramータ設定でチューニングを行った。
• NDCG@20 を用いてモデルを評価し、全コンペティションフェーズで単純確率ベースのベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 上位カンファレンスにおける過去の出版トレンドは、将来のカンファレンスにおける機関の関連性を信頼性高く予測できるか？
• RQ2 ローリングウィンドウや指数平滑化などの異なる時間的特徴量工学戦略が、予測精度にどのように影響するか？
• RQ3 長期的機関貢献と短期的トレンドが、共同で将来の論文受入率を予測する上でどの程度の寄与を果たすか？
• RQ4 複数のコンペティションフェーズにわたり、トレーニングデータ量の増加とより豊富な特徴量セットの導入により、モデルのパフォーマンスが向上するか？
• RQ5 学術グラフデータを用いた機関ランク予測において、勾配ブースティング決定木（GBDT）は単純な確率的ベースラインを上回る性能を示せるか？

主な発見

• 慎重にチューニングされた特徴量を用いたGBDTモデルは、全コンペティションフェーズおよび全カンファレンスでベースラインの確率モデルを一貫して上回った。
• 短期トレンド特徴量（dt、es）とローリング統計（sw_y、w_y）を組み合わせることで、KDD、FSE、MOBICOMの予測精度が顕著に向上した。
• MM では、特徴量とターゲットの間に中程度の相関が観察されたが、GBDTモデルは依然としてベースラインを上回るNDCG@20を達成した。
• FSE で最も優れたパフォーマンスを示した特徴量構成は、sw_y(rel) + dt(rel) + es(rel) で、関連する5カンファレンスを用いた。
• モデルは時間の経過とともに一貫した改善を示し、初期年よりも最近の年に対してより高い予測能力を示した。
• 最終的なソリューションはKDD Cup 2016で最高の総合スコアを記録し、最終順位で1位を獲得した。