[논문 리뷰] Ranking Research Institutions Based On Related Academic Conferences

Yasin Orouskhani, Leili Leili Tavabi|arXiv (Cornell University)|2016. 11. 27.

Data Management and Algorithms참고 문헌 6인용 수 5

한 줄 요약

이 논문은 빅데이터 마이닝 분야에서의 역량 있는 연구 기관을 과거의 컨퍼런스 발표 기록을 바탕으로 객관적으로 순위 매기는 랭킹 집계 방법을 제안한다. KDD, SIGIR, ICML 등의 컨퍼런스에서 2011~2014년 동안의 기관 점수를 정규화하고 합산함으로써, 2016년 순위 예측에서 NDCG@20가 0.74에 도달했으며, Borda Count 및 Fagin 알고리즘을 능가하는 성능을 보였다.

ABSTRACT

The detection of influential nodes in a social network is an active research area with many valuable applications including marketing and advertisement. As a new application in academia, KDD Cup 2016 shed light on the lack of an existing objective ranking for institutions within their respective research areas and proposed a solution for it. In this problem, the academic fields are defined as social networks whose nodes are the active institutions within the field, with the most influential nodes representing the highest contributors. The solution is able to provide a ranking of active institutions within their specific domains. The problem statement provided an annual scoring mechanism for institutions based on their publications and encouraged the use of any publicly available dataset such as the Microsoft Academic Graph (MAG). The contest was focused on research publications in selected conferences and asked for a prediction of the ranking for active institutions within those conferences in 2016. It should be noted that the results of the paper submissions and therefore the ground truths for KDD Cup were unknown at the time of the contest. Each team's final ranking list was evaluated by a metric called NDCG@20 after the results were released. This metric was used to indicate the distance between each team's proposed ranking and the actual one once it was known. After computing the scores of institutions for each year starting from 2011, we aggregated the rankings by summing the normalized scores across the years and using the final score set to provide the final ranking. Since the 2016 ground truths were unknown, we utilized the scores from 2011-2014 and used the 2015 publications as a test bed for evaluating our aggregation method. Based on the testing, summing the normalized scores got us closest to the actual 2015 rankings and using same heuristic for predicting the 2016 results.

연구 동기 및 목표

• 특정 학술 분야 내에서 객관적이고 데이터 기반의 연구 기관 순위가 부족한 문제를 해결하기 위해.
• 공개된 데이터를 활용해 다수의 연도와 컨퍼런스를 아우르는 기관 순위 집계 방법의 확장성을 확보하기 위해.
• 실제 순위가 공개되기 이전인 2016년 기관 영향력 예측을 위해 가장 효과적인 랭킹 집계 기법을 평가하고 선정하기 위해.
• 기자료 기반의 투명하지도 않은 전통적인 기관 순위에 대한 재현 가능하고 투명한 대안을 제공하기 위해.

제안 방법

• Microsoft Academic Graph(MAG) 데이터셋을 사용해 2011~2014년 동안 목표 컨퍼런스(KDD, SIGIR, ICML 등)에서의 발표 수를 기반으로 각 기관의 점수를 계산하였다.
• 각 기관의 연간 점수를 해당 연도의 최대 점수로 나누어 연도 간 비교가 가능하도록 정규화하였다.
• 정규화된 점수를 연도별로 합산하여 각 기관의 누적 점수를 산출함으로써 점수를 집계하였다.
• 최종 순위 산정 기준으로 정규화된 점수의 합을 사용하였으며, 이는 2015년 기준 데이터를 활용해 검증되었다.
• 제안된 방법의 성능을 평가하기 위해, 여러 컨퍼런스 데이터셋에서 Borda Count 및 Fagin 알고리즘과의 비교를 위해 NDCG@20를 사용하였다.
• 18GB 크기의 데이터를 처리하기 위해 Hadoop과 Spark를 활용해 알고리즘을 구현하였으며, 표준 서버 환경에서 대규모 MAG 데이터 처리를 성공적으로 수행하였다.

실험 결과

연구 질문

• RQ1 경쟁 대회 기간 동안 실제 순위가 공개되지 않은 상태에서, 2016년 연구 기관의 진정된 순위를 가장 잘 예측하는 랭킹 집계 기법은 무엇인가?
• RQ2 정규화된 연간 점수의 집계가 다수의 컨퍼런스에서 기관의 영향력을 얼마나 잘 반영하는가?
• RQ3 이러한 맥락에서, 단순한 정규화된 점수의 합산이 Borda Count 및 Fagin 알고리즘과 같은 더 복잡한 집계 기법을 능가할 수 있는가?
• RQ4 2011~2014년의 역사적 발표 데이터는 빅데이터 마이닝 분야의 주요 컨퍼런스에서 2016년 기관 순위를 어느 정도 예측할 수 있는가?
• RQ5 KDD, ICML, SIGIR와 같은 다양한 컨퍼런스에서 제안된 방법의 성능은 어떻게 달라지는가?

주요 결과

• 제안된 방법, 즉 2011~2014년 정규화된 점수의 합산은 1단계(SIGIR, SIGMOD, SIGCOMM)에서 NDCG@20가 0.729를 기록하여 Borda Count(0.74) 및 Fagin(0.80)을 능가했다.
• 2단계(KDD 및 ICML)에서는 제안된 방법이 NDCG@20가 0.75를 기록하여 Borda Count(0.776) 및 Fagin(0.766)을 모두 초월했다.
• 3단계(FSE, MobiCom, MM)에서는 각각 NDCG@20가 0.559, 0.470, 0.394를 기록하여, Borda Count 및 Fagin 모두를 모두 초월했다.
• 2015년 데이터로 검증한 후 동일한 방법을 사용해 2016년 순위를 예측하였으며, 발표 후 NDCG@20가 0.74를 기록했다.
• 정규화된 점수의 합산이 가장 효과적인 집계 전략으로 확인되었으며, 이는 모든 컨퍼런스 단계에서 실제 2015년 순위에 가장 가까운 순위를 지속적으로 기록하였다.
• 이 방법은 강건성과 확장성을 입증하였으며, 표준 서버 환경에서 Hadoop과 Spark를 활용해 18GB 이상의 MAG 데이터를 성공적으로 처리하였다.