[論文レビュー] CiteFusion: An Ensemble Framework for Citation Intent Classification Harnessing Dual-Model Binary Couples and SHAP Analyses

Lorenzo Paolini, Sahar Vahdati+4 more|arXiv (Cornell University)|Mar 7, 2025

scientometrics and bibliometrics research被引用数 1

ひとこと要約

CiteFusion は、1対すべての二値分解とフィードフォワードニューラルネットワークメタ・クラス分類器を介して SciBERT と XLNet モデルを統合するアンサンブルフレームワークであり、SciCite で 89.60% のマクロ F1、ACL-ARC で 76.24% を達成し、SHAP 分析とセクションタイトルの統合を通じて解釈可能性を向上させる。

ABSTRACT

Understanding the motivations underlying scholarly citations is critical for evaluating research impact and fostering transparent scholarly communication. This study introduces CiteFusion, an ensemble framework designed to address the multiclass Citation Intent Classification (CIC) task on benchmark datasets, SciCite and ACL-ARC. The framework decomposes the task into binary classification subtasks, utilizing complementary pairs of SciBERT and XLNet models fine-tuned independently for each citation intent. These base models are aggregated through a feedforward neural network meta-classifier, ensuring robust performance in imbalanced and data-scarce scenarios. To enhance interpretability, SHAP (SHapley Additive exPlanations) is employed to analyze token-level contributions and interactions among base models, providing transparency into classification dynamics. We further investigate the semantic role of structural context by incorporating section titles into input sentences, demonstrating their significant impact on classification accuracy and model reliability. Experimental results show that CiteFusion achieves state-of-the-art performance, with Macro-F1 scores of 89.60% on SciCite and 76.24% on ACL-ARC. The original intents from both datasets are mapped to Citation Typing Ontology (CiTO) object properties to ensure interoperability and reusability. This mapping highlights overlaps between the two datasets labels, enhancing their understandability and reusability. Finally, we release a web-based application that classifies citation intents leveraging CiteFusion models developed on SciCite.

研究の動機と目的

• 不均衡でデータが乏しい学術的データセットにおける多クラスの引用意図分類の課題に対処すること。
• ドメイン特化型（SciBERT）と汎用型（XLNet）の言語モデルをアンサンブルフレームワークで統合することで、分類のロバスト性と解釈可能性を向上させること。
• トークンレベルの寄与度とモデル相互作用のインサイトを提供する SHAP 分析を用いて、モデルの透明性を向上させること。
• 特にセクションタイトルが、分類精度の向上に寄与するフレーミング要因としての構造的文脈の影響を調査すること。
• 相互運用性と再利用可能性を高めるために、引用意図ラベルを Citation Typing Ontology (CiTO) を用いて標準化すること。

提案手法

• 多クラスの引用意図分類タスクを、各意図クラスごとに1対すべて（OVA）の二値サブタスクに分解する。
• 科学的および一般言語パターンを捉えるために、SciBERT と XLNet の補完的ペアを用い、各二値サブタスクで個別に微調整されたモデルを採用する。
• すべてのベースモデルから得られる正例クラスの確率出力を統合し、フィードフォワードニューラルネットワーク（FFNN）メタ・クラス分類器への入力となる特徴ベクトルを生成する。
• セクションタイトルを入力文に統合し、引用文脈の理解を向上させるフレーミング文脈としての役割を果たす。
• 混合精度学習と計算不安定性分析を適用し、トレーニング時間とリソース消費を削減するとともに、過学習のリスクを低減する。
• SHAP（SHapley Additive exPlanations）を用いて特徴の重要度とモデル相互作用のダイナミクスを分析し、解釈可能性とエラー分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型と汎用型の言語モデルのアンサンブルは、不均衡でリソースが乏しい状況下での引用意図分類のパフォーマンスを向上させることができるか？
• RQ2 セクションタイトルを文脈的フレーミング要因として統合することで、引用意図分類の精度にどのような影響を与えるか？
• RQ3 SHAP 分析は、引用意図分類における解釈可能性をどの程度向上させ、モデルレベルのダイナミクスや誤分類パターンを明らかにできるか？
• RQ4 SciCite と ACL-ARC の引用意図クラスは、相互運用性を高めるために標準化されたオントロジー（例：CiTO）とどの程度整合するか？
• RQ5 データ品質と量が、特に SciCite の Result クラス や ACL-ARC の Extends、Motivation、Future クラスのような未代表的クラスのパフォーマンスに与える影響は何か？

主な発見

• CiteFusion は、SciCite データセットで 89.60% のマクロ F1 スコア、ACL-ARC データセットで 76.24% を達成し、SOTA のパフォーマンスを実現した。
• セクションタイトルをフレーミング文脈として統合することで、分類精度が顕著に向上し、構造的文脈の手がかりとしての価値が示された。
• SHAP 分析により、明確なトークンレベルの寄与度が特定され、モデル固有の特徴が浮き彫りになり、誤分類パターンとモデル挙動の特定が可能になった。
• 本フレームワークは、両データセットの引用意図ラベルを Citation Typing Ontology (CiTO) の標準化されたオブジェクトプロパティに成功してマッピングし、データセット間比較と相互運用性を可能にした。
• Result（SciCite）や Extends、Motivation、Future（ACL-ARC）といった未代表的クラスではパフォーマンスの低下が観察され、データ量と品質に依存する傾向が明らかになった。
• コード、モデル（セクションタイトルあり・なし）、およびウェブベースのアプリケーションの公開により、再現性と文献情報学的・学術的コミュニケーションシステムにおける実世界への展開を支援した。