[论文解读] Ranking Research Institutions Based On Related Academic Conferences

Yasin Orouskhani, Leili Leili Tavabi|arXiv (Cornell University)|Nov 27, 2016

Data Management and Algorithms参考文献 6被引用 5

一句话总结

本文提出了一种排名聚合方法，基于大数据挖掘领域研究机构的历史会议论文发表记录，实现客观排名。通过将2011–2014年间KDD、SIGIR、ICML等会议的机构得分进行归一化并求和，该方法在预测2016年排名时实现了0.74的NDCG@20，优于Borda计数法和Fagin算法。

ABSTRACT

The detection of influential nodes in a social network is an active research area with many valuable applications including marketing and advertisement. As a new application in academia, KDD Cup 2016 shed light on the lack of an existing objective ranking for institutions within their respective research areas and proposed a solution for it. In this problem, the academic fields are defined as social networks whose nodes are the active institutions within the field, with the most influential nodes representing the highest contributors. The solution is able to provide a ranking of active institutions within their specific domains. The problem statement provided an annual scoring mechanism for institutions based on their publications and encouraged the use of any publicly available dataset such as the Microsoft Academic Graph (MAG). The contest was focused on research publications in selected conferences and asked for a prediction of the ranking for active institutions within those conferences in 2016. It should be noted that the results of the paper submissions and therefore the ground truths for KDD Cup were unknown at the time of the contest. Each team's final ranking list was evaluated by a metric called NDCG@20 after the results were released. This metric was used to indicate the distance between each team's proposed ranking and the actual one once it was known. After computing the scores of institutions for each year starting from 2011, we aggregated the rankings by summing the normalized scores across the years and using the final score set to provide the final ranking. Since the 2016 ground truths were unknown, we utilized the scores from 2011-2014 and used the 2015 publications as a test bed for evaluating our aggregation method. Based on the testing, summing the normalized scores got us closest to the actual 2015 rankings and using same heuristic for predicting the 2016 results.

研究动机与目标

• 解决特定学术领域内研究机构缺乏客观、数据驱动排名的问题。
• 开发一种可扩展的方法，利用公开数据在多年和多场会议中聚合机构排名。
• 在真实排名尚未公布的情况下，评估并选择最有效的排名聚合技术以预测2016年机构影响力。
• 提供一种可复现、透明的替代方案，以替代基于媒体来源的传统、不透明的机构排名。

提出的方法

• 基于2011–2014年在目标会议（如KDD、SIGIR、ICML）的论文数量，使用Microsoft Academic Graph（MAG）数据集计算各机构的独立得分。
• 通过将每年的得分除以当年列表中的最高分，对各机构的年度得分进行归一化，以确保跨年度可比性。
• 通过将归一化后的得分按年份求和，实现跨年度的累积得分聚合。
• 将归一化得分之和作为最终排名机制，并使用2015年的真实数据进行验证。
• 使用NDCG@20评估性能，将所提方法与Borda计数法和Fagin算法在多个会议数据集上进行比较。
• 采用Hadoop和Spark实现算法，以处理大规模MAG数据，鉴于文件大小达18GB。

实验结果

研究问题

• RQ1 在真实排名未知的情况下，哪种排名聚合方法最能准确预测2016年研究机构的真实排名？
• RQ2 归一化年度得分的聚合在多场会议中多大程度上能有效捕捉机构影响力？
• RQ3 在此情境下，简单的归一化得分求和是否能优于Borda计数法和Fagin算法等更复杂的聚合技术？
• RQ4 2011–2014年的历史发表数据在多大程度上能预测大数据挖掘领域主要会议在2016年的机构排名？
• RQ5 所提方法在不同会议（如KDD、ICML、SIGIR）中的表现如何变化？

主要发现

• 在第一阶段（SIGIR、SIGMOD、SIGCOMM）中，所提方法通过汇总2011–2014年归一化得分，实现了0.729的最高NDCG@20，优于Borda计数法（0.74）和Fagin算法（0.80）。
• 在第二阶段（KDD和ICML）中，所提方法实现了0.75的NDCG@20，优于Borda计数法（0.776）和Fagin算法（0.766）。
• 在第三阶段（FSE、MobiCom、MM）中，所提方法分别实现了0.559、0.470和0.394的NDCG@20，优于Borda计数法和Fagin算法在所有三场会议中的表现。
• 在2015年数据验证后，该方法被用于预测2016年排名，实现0.74的NDCG@20（公告后）。
• 归一化得分之和被证明是最有效的聚合策略，因其在所有会议阶段中均最接近实际2015年排名。
• 该方法展现出鲁棒性与可扩展性，成功在标准服务器上使用Hadoop和Spark处理超过18GB的MAG数据。