[논문 리뷰] ImpactCite: An XLNet-based method for Citation Impact Analysis

Dominique Mercier, Syed Tahseen Raza Rizvi외 3명|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 21인용 수 4

한 줄 요약

이 논문은 과학적 문헌에서 감성 및 의도 분류를 동시에 수행하는 XLNet 기반 모델인 ImpactCite를 제안한다. XLNet의 순차적 사전학습 및 순열 기반 어텐션을 활용하여 ImpactCite는 최신 기술 수준의 성능을 달성하였으며, 감성 분류 작업에서 이전 방법 대비 3.44% 향상되고 의도 분류 작업에서 1.33% 향상된 F1 점수를 기록하였다. 이는 새로 구축하고 정제한 총서 감성 데이터셋(CSC-Clean)을 사용하여 이루어졌다.

ABSTRACT

Citations play a vital role in understanding the impact of scientific literature. Generally, citations are analyzed quantitatively whereas qualitative analysis of citations can reveal deeper insights into the impact of a scientific artifact in the community. Therefore, citation impact analysis (which includes sentiment and intent classification) enables us to quantify the quality of the citations which can eventually assist us in the estimation of ranking and impact. The contribution of this paper is two-fold. First, we benchmark the well-known language models like BERT and ALBERT along with several popular networks for both tasks of sentiment and intent classification. Second, we provide ImpactCite, which is XLNet-based method for citation impact analysis. All evaluations are performed on a set of publicly available citation analysis datasets. Evaluation results reveal that ImpactCite achieves a new state-of-the-art performance for both citation intent and sentiment classification by outperforming the existing approaches by 3.44% and 1.33% in F1-score. Therefore, we emphasize ImpactCite (XLNet-based solution) for both tasks to better understand the impact of a citation. Additional efforts have been performed to come up with CSC-Clean corpus, which is a clean and reliable dataset for citation sentiment classification.

연구 동기 및 목표

• 과학적 문헌에서의 인용 감성 분석을 위한 신뢰할 수 있고 청소된 데이터셋의 부족 문제를 해결하기 위해.
• CNN, RNN, LSTM, BERT, ALBERT와 같은 다양한 딥러닝 모델을 인용 감성 및 의도 분류에 대해 벤치마킹하기 위해.
• XLNet 기반 아키텍처를 사용하여 감성 및 의도 분류를 위한 통합된 최신 기술 수준의 솔루션을 개발하기 위해.
• 인용문 텍스트의 문맥적 및 순차적 의존성을 포착함으로써 인용 영향의 정성적 평가를 향상시키기 위해.
• 작은, 불균형적인 인용 데이터셋에서 기존 방법을 초월하는 견고하고 일반화 능력이 뛰어난 모델을 제공하기 위해.

제안 방법

• 과학적 인용문에서 감성 및 의도 분류를 위한 미세조정된 XLNet 기반 모델인 ImpactCite를 제안한다.
• 인용문 텍스트의 장거리 의존성과 전반적인 문맥을 포착하기 위해 XLNet의 고유한 순차적 사전학습 및 순열 기반 언어 모델링을 활용한다.
• CSC-Clean 데이터셋의 클래스 불균형 문제를 다루기 위해 다운샘플링 및 순열 기반 데이터 증강 기법을 적용한다.
• 사전학습된 XLNet 기반 모델을 인용 전용 감성 및 의도 분류 작업에 대해 미세조정하여 전이 학습을 수행한다.
• 감성 및 의도 분류를 위한 별도의 헤드를 사용하면서도 맥락 인코더를 공유함으로써 효율적인 다중 작업 학습을 가능하게 한다.
• 일관된 평가 및 일반화 능력을 확보하기 위해 CSC-Clean 데이터셋에 대해 10겹 교차 검증을 수행한다.

실험 결과

연구 질문

• RQ1 BERT나 ALBERT와 같은 기존 아키텍처보다 XLNet 기반 모델이 인용 감성 및 의도 분류에서 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 ImpactCite 모델은 인용 감성 데이터셋의 클래스 불균형 문제를 얼마나 효과적으로 다루는가?
• RQ3 사전 처리 및 데이터 증강 기법은 작은, 불균형적인 인용 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 단일 통합 모델이 감성 및 의도 분류 작업 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 BERT와 같은 양방향 모델과 비교해 XLNet의 순차적 성격이 인용문 텍스트의 맥락 모델링에 어떻게 향상되는가?

주요 결과

• ImpactCite는 CSC-Clean 인용 감성 데이터셋에서 기존 최신 기술 수준의 76.4% 대비 1.33% 향상된 77.73%의 새로운 최신 기술 수준 F1 점수를 기록하였다.
• SciCite 의도 분류 데이터셋에서 ImpactCite는 기존 최신 기술 수준인 SciBERT 대비 3.44% 향상된 88.93%의 F1 점수를 기록하였다.
• 모델은 양성, 부정, 중립의 모든 감성 클래스에서 뛰어난 성능을 보였으며, 특히 이전에 성능이 부진했던 부정 클래스의 F1 점수 향상이 두드러졌다.
• ImpactCite는 포지티브 손실이나 SMOTE를 적용한 LSTM, CNN, RNN과 같은 베이스라인 모델들을 넘어설 정도로 장거리 의존성을 효과적으로 모델링할 수 있었다.
• XLNet의 순열 기반 학습 방식을 활용함으로써 제한된 데이터에서도 더 나은 일반화 능력을 확보하였으며, 이는 작은, 불균형적인 인용 데이터셋에 대해 견고한 성능을 발휘하게 하였다.
• 최근 공개된 CSC-Clean 데이터셋은 이전 버전에 비해 더 신뢰도가 높고 일관성이 있어, 인용 영향 분석 모델의 정확한 벤치마킹을 가능하게 하였다.