[論文レビュー] Ranking academic institutions on potential paper acceptance in upcoming conferences

Jobin Wilson, Ram Mohan+3 more|arXiv (Cornell University)|Oct 10, 2016

Big Data and Business Intelligence参考文献 15被引用数 5

ひとこと要約

本論文は、上位会議における論文受入の期待値に基づいて研究機関の順位を予測する二段階手法を提案する。ACM Digital LibraryおよびMicrosoft Academic Graphから収集したウェブクロールデータを用い、完全な研究論文を同定した後、指数平滑法モデルを適用して受入傾向を予測し、KDD Cup 2016で全体のNDCG@20スコア0.7508を達成した。

ABSTRACT

The crux of the problem in KDD Cup 2016 involves developing data mining techniques to rank research institutions based on publications. Rank importance of research institutions are derived from predictions on the number of full research papers that would potentially get accepted in upcoming top-tier conferences, utilizing public information on the web. This paper describes our solution to KDD Cup 2016. We used a two step approach in which we first identify full research papers corresponding to each conference of interest and then train two variants of exponential smoothing models to make predictions. Our solution achieves an overall score of 0.7508, while the winning submission scored 0.7656 in the overall results.

研究の動機と目的

• 次回の上位会議における完全な研究論文の受入予測に基づいて学術機関の順位を付けること。
• 公に利用可能なウェブデータのみを用いて、将来的な論文受入を推定する課題に対処すること。
• 多様な会議の動態や出版パターンに一般化可能な堅牢な予測パイプラインを開発すること。
• 半自動的な論文分類と時系列モデリングを統合することで、予測精度を向上させること。

提案手法

• 標的となる会議のACM Digital LibraryのプロCEEDINGSから、論文メタデータおよびセクション情報を収集するためのウェブクローラーを採用した。
• 手動ルールベースのフィルタリングと分類モデルを組み合わせた半自動的手法を用い、受入済み論文全件から完全な研究論文を同定した。
• 所属機関ごとの受入論文の割合に基づいて、機関レベルの関連スコア（relスコア）の時系列を構築した。
• 各会議について、指数平滑法およびARIMAモデルを用いて将来のrelスコアを予測した。
• 指数平滑法の平滑化パラメータαの最適化のためのグリッドサーチを実施し、最適値としてACM MMでは0.4、FSEでは0.2、MobiCommでは0.35が得られた。
• モデルとパラメータの選定のため、NDCG@20を評価指標とする交差検証フレームワークを実装した。

実験結果

リサーチクエスチョン

• RQ1 公に利用可能なデータソースから、会議のプロCEEDINGSにおいて完全な研究論文を信頼性高く同定する方法は何か？
• RQ2 多様な会議の動態と変動する出版傾向を考慮した場合、どの時系列予測モデルが最も優れた性能を示すか？
• RQ3 ARIMAのようなより複雑なモデルよりも、指数平滑法が学術機関の将来的な論文受入率を予測する上で優れているとされるか？
• RQ4 NDCG@20を用いた交差検証フレームワークは、順位予測の実世界性能を推定するためにどの程度有効か？

主な発見

• α = 0.4の指数平滑法モデルが、ACM MMで最高の平均交差検証NDCG@20スコア（0.7294）を達成した。
• ACM MMでは実際のフェーズ3スコアが0.7334に達し、未観測データへの強い一般化性能が確認された。
• フェーズ2ではモデルの一般化性能が強く、交差検証スコアが0.8086、実スコアが0.8075を記録した。
• ARIMAモデルは、特にフェーズ3においてrelスコア時系列の高い変動性のため、性能が低かった。
• 半自動的な論文同定パイプラインは、完全にルールベースの手法と比較して偽陽性を低減し、データ品質を向上させた。
• 全体のソリューションは最終的にNDCG@20スコア0.7508を達成し、優勝スコア（0.7656）に次ぐ2位となった。