[논문 리뷰] CiteFusion: An Ensemble Framework for Citation Intent Classification Harnessing Dual-Model Binary Couples and SHAP Analyses

Lorenzo Paolini, Sahar Vahdati외 4명|arXiv (Cornell University)|2025. 03. 07.

scientometrics and bibliometrics research인용 수 1

한 줄 요약

CiteFusion은 SciBERT와 XLNet 모델을 one-vs-all 이진 분해와 피드포워드 신경망 메타분류기로 조합하는 앙상블 프레임워크로, SciCite에서 89.60%의 매크로-F1, ACL-ARC에서 76.24%의 성능을 기록하며 최신 기술 수준을 달성하였으며, SHAP 분석과 섹션 제목 통합을 통해 해석 가능성도 향상시켰다.

ABSTRACT

Understanding the motivations underlying scholarly citations is critical for evaluating research impact and fostering transparent scholarly communication. This study introduces CiteFusion, an ensemble framework designed to address the multiclass Citation Intent Classification (CIC) task on benchmark datasets, SciCite and ACL-ARC. The framework decomposes the task into binary classification subtasks, utilizing complementary pairs of SciBERT and XLNet models fine-tuned independently for each citation intent. These base models are aggregated through a feedforward neural network meta-classifier, ensuring robust performance in imbalanced and data-scarce scenarios. To enhance interpretability, SHAP (SHapley Additive exPlanations) is employed to analyze token-level contributions and interactions among base models, providing transparency into classification dynamics. We further investigate the semantic role of structural context by incorporating section titles into input sentences, demonstrating their significant impact on classification accuracy and model reliability. Experimental results show that CiteFusion achieves state-of-the-art performance, with Macro-F1 scores of 89.60% on SciCite and 76.24% on ACL-ARC. The original intents from both datasets are mapped to Citation Typing Ontology (CiTO) object properties to ensure interoperability and reusability. This mapping highlights overlaps between the two datasets labels, enhancing their understandability and reusability. Finally, we release a web-based application that classifies citation intents leveraging CiteFusion models developed on SciCite.

연구 동기 및 목표

• 불균형하고 자료가 부족한 학술 데이터셋에서 다중 클래스의 인용 의도 분류 과제를 해결하기 위해.
• 도메인 특화(SciBERT) 및 일반 목적(XLNet) 언어 모델을 앙상블 프레임워크에 통합하여 분류의 강건성과 해석 가능성 향상.
• 토큰 수준 기여도와 모델 간 상호작용 통찰을 제공하기 위해 SHAP 분석을 활용하여 모델 투명성 향상.
• 특히 섹션 제목이 인용 맥락 이해를 향상시키는 데 기여하는 구조적 맥락 신호로서의 영향을 조사하기 위해.
• 상호 운용성과 재사용 가능성을 위해 Citation Typing Ontology(CiTO)를 사용하여 데이터셋 간 인용 의도 레이블 표준화.

제안 방법

• 다중 클래스 인용 의도 분류 과제를 각 의도 클래스에 대해 one-vs-all(OVA) 이진 하위 과제로 분해한다.
• 과학적 및 일반 언어 패턴을 모두 포착하기 위해, 각 이진 하위 과제에 대해 독립적으로 피팅된 SciBERT와 XLNet 모델의 보완 쌍을 활용한다.
• 모든 기본 모델의 양성 클래스 확률 출력을 하나의 특징 벡터로 집계하여 피드포워드 신경망(FFNN) 메타분류기의 입력으로 사용한다.
• 모델의 인용 맥락 이해를 향상시키기 위해 입력 문장에 섹션 제목을 프레임워크 맥락으로 통합한다.
• 학습 시간과 자원 소비를 줄이고 과적합을 완화하기 위해 혼합 정밀도 학습과 계산 불안정성 분석을 적용한다.
• SHAP (SHapley Additive exPlanations)를 사용하여 기능 중요도와 모델 상호작용 다이내믹스를 분석하여, 해석 가능성과 오류 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 도메인 특화 및 일반 목적 언어 모델의 앙상블이 불균형하고 자원이 부족한 환경에서 인용 의도 분류 성능을 향상시킬 수 있는가?
• RQ2 섹션 제목을 맥락적 프레임워크 장치로 통합할 경우, 인용 의도 분류 정확도에 어떤 영향을 미치는가?
• RQ3 SHAP 분석을 통해 얼마나 높은 수준의 해석 가능성과 모델 수준의 다이내믹스, 잘못된 분류 패턴을 드러낼 수 있는가?
• RQ4 SciCite와 ACL-ARC의 인용 의도 클래스는 Citation Typing Ontology(CiTO)와 같은 표준 온톨로지와 얼마나 일치하는가?
• RQ5 데이터 품질과 양이 성능에 미치는 영향은 무엇이며, 특히 SciCite의 Result나 ACL-ARC의 Extends, Motivation, Future와 같이 표현 수가 적은 클래스의 경우 어떻게 되는가?

주요 결과

• CiteFusion은 SciCite 데이터셋에서 매크로-F1 점수 89.60%, ACL-ARC 데이터셋에서 76.24%의 최신 기술 수준 성능를 기록하였다.
• 섹션 제목을 프레임워크 맥락으로 통합함으로써 분류 정확도가 뚜렷이 향상되었으며, 이는 구조적 맥락 신호로서의 가치를 입증한다.
• SHAP 분석은 토큰 수준의 기여도를 명확히 드러내며, 모델 별 특징을 강조하여 잘못된 분류 패턴과 모델 행동을 식별하는 데 기여한다.
• 이 프레임워크는 두 데이터셋의 인용 의도 레이블을 Citation Typing Ontology(CiTO)의 표준 객체 속성으로 성공적으로 매핑하여, 데이터셋 간 비교 및 상호 운용성을 가능하게 하였다.
• Result(SciCite) 및 Extends, Motivation, Future(ACL-ARC)와 같이 표현 수가 적은 클래스의 경우 성능 저하가 관찰되었으며, 이는 데이터의 양과 품질에 대한 의존성을 보여준다.
• 코드, 모델(섹션 제목 포함 및 미포함), 웹 기반 애플리케이션의 공개 배포를 통해 재현 가능성과 빌드미터릭 및 학술 커뮤니케이션 시스템 내 실용적 구현을 지원한다.