[논문 리뷰] Automatic Academic Paper Rating Based on Modularized Hierarchical Convolutional Neural Network

Pengcheng Yang, Xu Sun외 2명|arXiv (Cornell University)|2018. 05. 10.

Topic Modeling참고 문헌 17인용 수 7

한 줄 요약

이 논문은 구조화된 구성 요소(제목, 초록, 방법 등)를 다중 수준의 주의 메커니즘과 CNN을 통해 처리하는 모odularized 계층적 합성곱 신경망을 사용하여 논문 수락 여부를 예측함으로써 동료 평가를 지원하는 새로운 작업—자동 학술 논문 평가(AAPR)—를 소개한다. 이 모델은 67.7%의 정확도를 달성하며, 저자와 결론이 가장 영향력 있는 모듈임을 규명한다.

ABSTRACT

As more and more academic papers are being submitted to conferences and journals, evaluating all these papers by professionals is time-consuming and can cause inequality due to the personal factors of the reviewers. In this paper, in order to assist professionals in evaluating academic papers, we propose a novel task: automatic academic paper rating (AAPR), which automatically determine whether to accept academic papers. We build a new dataset for this task and propose a novel modularized hierarchical convolutional neural network to achieve automatic academic paper rating. Evaluation results show that the proposed model outperforms the baselines by a large margin. The dataset and code are available at \url{https://github.com/lancopku/AAPR}

연구 동기 및 목표

• 학술 회의 및 저널에서 수작업 논문 평가의 증가하는 부담을 해결하기 위해.
• LaTeX 소스와 메타데이터를 사용하여 학술 논문 평가의 주관성과 일관성 부족을 줄이기 위해 자동화된 논문 평가를 구현하기 위해.
• 논문의 구조적 및 의미적 특징을 바탕으로 논문 수락 여부를 예측하는 새로운 작업—자동 학술 논문 평가(AAPR)—를 도입하기 위해.
• 자동화된 학술 평가 연구를 지원하기 위해 AAPR를 위한 새로운 데이터셋을 구축하기 위해.
• 더 나은 평가 성능을 위해 학술 논문의 계층적이고 모듈러한 구조를 포착하는 딥 러닝 모델을 개발하기 위해.

제안 방법

• 논문을 제목, 초록, 서론, 방법, 결론 등 구조적 모듈로 나누어 모듈러한 처리를 수행하기 위해.
• 각 모듈에서 계층적 표현을 추출하기 위해 단어 수준 및 문장 수준의 주의 기반 CNN을 적용하기 위해.
• 학습 가능한 주의 가중치를 사용해 저자 이름에 대한 가중 평균 풀링을 통해 저자 표현을 생성하기 위해.
• 모듈 수준의 표현을 주의 기반 풀링 레이어를 통해 집계하여 논문 수준의 표현을 형성하기 위해.
• 논문 수준의 표현에 소프트맥스 레이어를 적용하여 수락 확률을 예측하기 위해.
• 분류 정확도 향상을 위해 훈련 중에 교차 엔트로피 손실을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 LaTeX 소스와 메타데이터만을 사용하여 학술 논문 수락 여부를 효과적으로 예측할 수 있는가?
• RQ2 논문의 어떤 구조적 구성 요소가 수락 예측에 가장 크게 영향을 미치는가?
• RQ3 모odularized 계층적 CNN 아키텍처가 기존 모델 대비 AAPR에서 성능을 향상시키는 데 어떤 기여를 하는가?
• RQ4 주의 메커니즘이 모델의 주요 콘텐츠 식별 능력을 얼마나 향상시키는가?
• RQ5 제안된 모델은 다양한 학술 논문의 구조와 콘텐츠 유형에 대해 잘 일반화되는가?

주요 결과

• 제안된 모odularized 계층적 CNN은 모든 기준 모델을 능가하며, AAPR 작업에서 67.7%의 정확도를 달성한다.
• 저자 모듈을 제거했을 때 성능 저하가 가장 커서 정확도가 3.1% 감소했으며, 이는 저자가 가장 영향력 있는 요소임을 시사한다.
• 초록과 결론 모듈은 각각 두 번째와 세 번째로 큰 영향을 미치며, 제거 시 정확도가 각각 2.2%와 2.7% 감소한다.
• 방법 모듈은 성능에 가장 작은 영향을 미치며, 제거 시 정확도가 단지 1.5% 감소하여 방법론 서술 방식의 변동성이 크다는 것을 시사한다.
• 제목은 가장 작은 영향을 미치며, 제외 시 정확도가 1.1% 감소하여 제목만으로는 예측 능력이 제한적임을 나타낸다.
• 모든 아블레이션 결과는 통계적으로 유의미하다(p ≤ 0.05), 이는 모듈의 영향 분석이 견고함을 확인한다.