[논문 리뷰] Feature Engineering and Ensemble Modeling for Paper Acceptance Rank Prediction

Yujie Qian, Yinpeng Dong외 3명|arXiv (Cornell University)|2016. 11. 14.

Expert finding and Q&A systems참고 문헌 11인용 수 4

한 줄 요약

이 논문은 마이크로소프트 애카데믹 그래프에서 확보한 역사적 데이터를 활용하여 최고의 컴퓨터 과학 학술 회의에서 기관의 논문 수용 순위를 예측하기 위한 특징 공학 및 앙상블 모델링 접근법을 제시한다. 이 방법은 기본 특징 정의, 유사한 회의의 특징 통합, 차원 감소를 위한 주성분 분석(PCA) 적용, 그리고 앙상블 학습을 통한 다수의 순위 예측 모델 통합을 포함하며, 검증 세트에서 평균 NDCG@20가 0.7472로 KDD 컵 2016 대회에서 2등을 기록하였다.

ABSTRACT

Measuring research impact and ranking academic achievement are important and challenging problems. Having an objective picture of research institution is particularly valuable for students, parents and funding agencies, and also attracts attention from government and industry. KDD Cup 2016 proposes the paper acceptance rank prediction task, in which the participants are asked to rank the importance of institutions based on predicting how many of their papers will be accepted at the 8 top conferences in computer science. In our work, we adopt a three-step feature engineering method, including basic features definition, finding similar conferences to enhance the feature set, and dimension reduction using PCA. We propose three ranking models and the ensemble methods for combining such models. Our experiment verifies the effectiveness of our approach. In KDD Cup 2016, we achieved the overall rank of the 2nd place.

연구 동기 및 목표

• 최고 수준의 컴퓨터 과학 학술 회의에서 예측된 논문 수용률을 바탕으로 기관을 객관적으로 순위 매기는 문제를 해결하기 위해.
• 예측 성능을 향상시키기 위한 강력한 특징 공학 파이프라인을 개발하기 위해.
• 일반화 능력을 향상시키고 예측 불확실성을 줄이기 위한 앙상블 전략을 설계하고 평가하기 위해.
• 유사한 회의를 통한 특징 확장의 효과와 PCA를 통한 차원 감소의 유효성을 검증하기 위해.

제안 방법

• 각 기관-회의-연도 튜플에 대해 이전 3년 간의 역사적 논문 수용 건수를 기반으로 기본 기관 특징을 정의하였다.
• 인용 및 공동 저자 패턴을 활용해 각 대상 회의에 대해 유사한 회의를 식별하여 특징 집합을 풍부하게 하였다.
• 고차원 특징 확장을 방지하기 위해 특징 차원 감소를 위해 주성분 분석(PCA)을 적용하였다.
• 세 가지 다른 순위 예측 모델을 훈련: 이력 기반 기준 모델, 회귀 모델(선형 및 SVM), 순서 학습 SVM 모델.
• 다양한 모델의 상호 보완적 강점을 활용하기 위해 예측 결과를 결합하는 모델 블렌딩(앙상블 학습)을 적용하였다.
• 검증 세트에서 초모수를 튜닝하고, 여덟 개의 대상 회의에서 NDCG@20를 사용해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 역사적 데이터와 특징 공학을 활용해 기관의 논문 수용 순위를 높은 정확도로 예측할 수 있는가?
• RQ2 유사한 회의의 특징을 통합할 경우 기관 순위 예측 성능에 어떤 영향을 미치는가?
• RQ3 유사한 회의에서 고차원 특징을 추가할 경우 PCA를 통한 차원 감소가 모델 일반화 능력을 향상시키는가?
• RQ4 이러한 개방형이고 불확실성이 높은 예측 과제에서 앙상블 모델링이 개별 순위 예측 모델을 능가할 수 있는가?
• RQ5 기준 모델, 회귀 모델, 학습-순서 모델 등의 다양한 모델링 접근 방식이 다양한 회의에서 NDCG@20 성능에 어떻게 영향을 미치는가?

주요 결과

• 앙상블 모델은 여덟 개의 모든 대상 회의에서 평균 NDCG@20 점수 0.7472를 기록하여 개별 모델보다 높은 성능을 보였다.
• 유사한 회의 특징을 추가하는 것만으로는 성능 향상이 없었고, 일부 경우에서는 오히려 성능이 저하되었는데, 이는 차원 수 증가로 인한 과적합 때문일 가능성이 높다.
• 특징 확장을 거친 후 PCA 적용이 성능 향상에 크게 기여하여 평균 NDCG@20 점수를 0.0163 향상시켰으며, 이는 과적합을 줄이는 데서 PCA의 가치를 확인시켰다.
• 회귀 모델은 네 개의 회의(SIGCOMM, KDD, FSE, MM)에서 가장 뛰어난 개별 성능를 기록했고, 앙상블 모델은 세 개의 회의(SIGIR, SIGMOD, MobiCom)에서 우수한 성능를 기록했다.
• 기준 모델은 ICML에서 놀랍게도 높은 성능(NDCG@20 = 0.8918)을 기록했지만, 전체적으로 앙상블 모델에 밀렸으며, 이는 단순한 기준 모델 성능에도 불구하고 앙상블 모델의 강건성을 시사한다.
• 이 프레임워크는 KDD 컵 2016 대회에서 종합 2등을 기록했으며, 개별 단계 순위로는 10위(SIGIR), 39위(KDD), 14위(MM)를 기록했다.