[論文レビュー] Ranking Research Institutions Based On Related Academic Conferences

Yasin Orouskhani, Leili Leili Tavabi|arXiv (Cornell University)|Nov 27, 2016

Data Management and Algorithms参考文献 6被引用数 5

ひとこと要約

本稿では、ビッグデータマイニング分野における研究機関の歴史的カンファレンス出版物に基づいて、客観的な順位付けを行うランク集約手法を提案する。KDD、SIGIR、ICMLなどのカンファレンスにおいて2011年から2014年までの機関スコアを正規化し合算することで、2016年の順位予測においてNDCG@20が0.74に達し、ボーダー・カウントおよびファーゲインアルゴリズムを上回る性能を示した。

ABSTRACT

The detection of influential nodes in a social network is an active research area with many valuable applications including marketing and advertisement. As a new application in academia, KDD Cup 2016 shed light on the lack of an existing objective ranking for institutions within their respective research areas and proposed a solution for it. In this problem, the academic fields are defined as social networks whose nodes are the active institutions within the field, with the most influential nodes representing the highest contributors. The solution is able to provide a ranking of active institutions within their specific domains. The problem statement provided an annual scoring mechanism for institutions based on their publications and encouraged the use of any publicly available dataset such as the Microsoft Academic Graph (MAG). The contest was focused on research publications in selected conferences and asked for a prediction of the ranking for active institutions within those conferences in 2016. It should be noted that the results of the paper submissions and therefore the ground truths for KDD Cup were unknown at the time of the contest. Each team's final ranking list was evaluated by a metric called NDCG@20 after the results were released. This metric was used to indicate the distance between each team's proposed ranking and the actual one once it was known. After computing the scores of institutions for each year starting from 2011, we aggregated the rankings by summing the normalized scores across the years and using the final score set to provide the final ranking. Since the 2016 ground truths were unknown, we utilized the scores from 2011-2014 and used the 2015 publications as a test bed for evaluating our aggregation method. Based on the testing, summing the normalized scores got us closest to the actual 2015 rankings and using same heuristic for predicting the 2016 results.

研究の動機と目的

• 特定の学術分野における研究機関に対する客観的でデータ駆動型の順位付けの欠如に対処すること。
• 公開可能なデータを用いて、複数年の複数カンファレンスにわたる機関順位のスケーラブルな集約手法を開発すること。
• 真の順位が入手可能でない2016年の機関影響力予測に最適なランク集約技術を評価・選定すること。
• メディア出典に基づく曖昧で透明性のない従来の機関順位とは対照的に、再現可能で透明性のある代替手段を提供すること。

提案手法

• Microsoft Academic Graph (MAG) データセットを用いて、2011年から2014年までの対象カンファレンス（例：KDD、SIGIR、ICML）における出版数に基づき、個々の機関スコアを算出する。
• 各年度のリストにおける最大スコアで割ることで、各機関の年次スコアを正規化し、年次間の比較可能性を確保する。
• 正規化されたスコアを年次ごとに合算することで、各機関の累積スコアを生成する。
• 最終順位付けのメカニズムとして、正規化スコアの合計を使用し、2015年の真値データを用いて検証した。
• 複数のカンファレンスデータセット上で、提案手法とボーダー・カウントおよびファーゲインアルゴリズムを比較するため、NDCG@20を用いて性能を評価した。
• 18GBのファイルサイズを考慮し、大規模なMAGデータ処理を実現するため、HadoopおよびSparkを用いてアルゴリズムを実装した。

実験結果

リサーチクエスチョン

• RQ1 コンテスト期間中に真の順位が入手不可であった2016年の研究機関の真の順位を、どのランク集約手法が最もよく予測できるか？
• RQ2 正規化された年次スコアの集約は、複数のカンファレンスにわたる機関の影響力をどれほど的確に捉えられるか？
• RQ3 本研究の文脈において、より複雑な手法（ボーダー・カウントおよびファーゲインアルゴリズム）を上回る、単純な正規化スコアの合計が有効であるか？
• RQ4 2011年から2014年までの歴史的出版データは、ビッグデータマイニング分野の主要カンファレンスにおける2016年の機関順位をどの程度正確に予測できるか？
• RQ5 KDD、ICML、SIGIRなどの異なるカンファレンスにおいて、提案手法の性能はどのように変動するか？

主な発見

• 2011年から2014年までの正規化スコアの合計を採用した本手法は、第1フェーズ（SIGIR、SIGMOD、SIGCOMM）でNDCG@20が0.729を達成し、ボーダー・カウント（0.74）およびファーゲイン（0.80）を上回った。
• 第2フェーズ（KDDおよびICML）では、本手法がNDCG@20で0.75を達成し、ボーダー・カウント（0.776）およびファーゲイン（0.766）を上回った。
• 第3フェーズ（FSE、MobiCom、MM）では、本手法がそれぞれNDCG@20で0.559、0.470、0.394を達成し、両手法をすべての3カンファレンスで上回った。
• 2015年のデータを用いた検証後、同様の手法を用いて2016年の順位を予測したところ、発表後におけるNDCG@20が0.74に達した。
• 正規化スコアの合計が、すべてのカンファレンスフェーズにおいて2015年の真の順位に最も近い順位を常に達成したため、最も効果的な集約戦略であると判明した。
• 本手法は、標準サーバー上でHadoopおよびSparkを用いて18GB以上のMAGデータを効果的に処理でき、耐障害性とスケーラビリティを示した。