[論文レビュー] Feature Engineering and Ensemble Modeling for Paper Acceptance Rank Prediction

Yujie Qian, Yinpeng Dong+3 more|arXiv (Cornell University)|Nov 14, 2016

Expert finding and Q&A systems参考文献 11被引用数 4

ひとこと要約

本論文は、Microsoft Academic Graphの歴史的データを用いて、トップコンピュータサイエンス会議における機関の論文受入ランクを予測するための特徴工学とアンサンブルモデリング手法を提示する。この手法は、基本的特徴の定義、類縁会議の特徴の統合、次元削減のための主成分分析（PCA）の適用、複数のランク付けモデルのアンサンブル学習による統合を含み、バリデーションセットにおける平均NDCG@20が0.7472でKDDカップ2016で2位を達成した。

ABSTRACT

Measuring research impact and ranking academic achievement are important and challenging problems. Having an objective picture of research institution is particularly valuable for students, parents and funding agencies, and also attracts attention from government and industry. KDD Cup 2016 proposes the paper acceptance rank prediction task, in which the participants are asked to rank the importance of institutions based on predicting how many of their papers will be accepted at the 8 top conferences in computer science. In our work, we adopt a three-step feature engineering method, including basic features definition, finding similar conferences to enhance the feature set, and dimension reduction using PCA. We propose three ranking models and the ensemble methods for combining such models. Our experiment verifies the effectiveness of our approach. In KDD Cup 2016, we achieved the overall rank of the 2nd place.

研究の動機と目的

• トップレベルのコンピュータサイエンス会議における予測された論文受入率に基づいて、学術機関を客観的にランク付けする課題に対処すること。
• 予測性能を向上させるための強固な特徴工学パイプラインを構築すること。
• 一般化を向上させ、予測の不確実性を低減するための複数のランク付けモデルとアンサンブル戦略を設計・評価すること。
• 類縁会議による特徴拡張の有効性を検証することと、PCAによる次元削減が過学習を緩和するかを検証すること。

提案手法

• 各機関・会議・年ごとの過去3年間の論文受入件数に基づいて、基本的機関特徴を定義した。
• 引用関係と共同著者パターンを用いて、各ターゲット会議の類縁会議を同定し、特徴集合を拡張した。
• 高次元特徴拡張による過学習を軽減するため、次元削減の目的で主成分分析（PCA）を適用した。
• 歴史的ベースライン、回帰モデル（線形およびSVM）、およびランク付けSVMモデルの3つの異なるランク付けモデルを訓練した。
• 複数のモデルの予測を統合するために、モデルブレンド（アンサンブル学習）を用い、相補的な強みを活かした。
• バリデーションセットでハイパーパramータを調整し、8つのターゲット会議全体でNDCG@20を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 歴史的データと特徴工学を用いて、どのように高精度に機関の論文受入ランクを予測できるか？
• RQ2 類縁会議からの特徴を統合することで、機関ランク予測のモデル性能にどのような影響を与えるか？
• RQ3 類縁会議からの高次元特徴を追加した際、PCAによる次元削減がモデルの一般化性能を向上させるか？
• RQ4 このオープンエンドで不確実性の高い予測タスクにおいて、アンサンブルモデリングが個々のランク付けモデルを上回るか？
• RQ5 ベースライン、回帰、学習してランクを付ける（learning-to-rank）といった異なるモデリングアプローチは、多様な会議においてNDCG@20性能でどのように比較されるか？

主な発見

• アンサンブルモデルは、全8つのターゲット会議で平均NDCG@20が0.7472を記録し、個々のモデルを上回った。
• 類縁会議の特徴を追加しただけでは性能向上が見られず、一部のケースでは性能が低下した。これは、次元の増加に起因する過学習の可能性が示唆された。
• 特徴拡張後にPCAを適用することで、性能が顕著に向上し、平均でNDCG@20が0.0163上昇した。これは、過学習の低減にPCAが有効であることを確認した。
• 回帰モデルは、SIGCOMM、KDD、FSE、MMの4つの会議で最高の個別性能を達成した一方、アンサンブルモデルはSIGIR、SIGMOD、MobiComの3つの会議でリードした。
• ICMLではベースラインモデルが驚くべきほど高い性能（NDCG@20 = 0.8918）を示したが、全体ではアンサンブルモデルに劣った。これは、アンサンブルモデルの堅牢性を示している。
• 本フレームワークはKDDカップ2016で全体で2位を達成し、個別フェーズではSIGIRで10位、KDDで39位、MMで14位を記録した。