[論文レビュー] ImpactCite: An XLNet-based method for Citation Impact Analysis

Dominique Mercier, Syed Tahseen Raza Rizvi+3 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 21被引用数 4

ひとこと要約

本稿では、科学的文献におけるセンチメントと意図分類を統合的に実行するXLNetベースのモデル、ImpactCiteを提案する。XLNetの自己回帰的事前学習と順列ベースのアテンションを活用することで、ImpactCiteは最先端の性能を達成し、センチメント分類タスクと意図分類タスクの両方で、それぞれ3.44%および1.33%のF1スコア向上を達成した。これは、新たに収集・クリーニングされたキャシオンセンチメントデータセット（CSC-Clean）を用いて実現された。

ABSTRACT

Citations play a vital role in understanding the impact of scientific literature. Generally, citations are analyzed quantitatively whereas qualitative analysis of citations can reveal deeper insights into the impact of a scientific artifact in the community. Therefore, citation impact analysis (which includes sentiment and intent classification) enables us to quantify the quality of the citations which can eventually assist us in the estimation of ranking and impact. The contribution of this paper is two-fold. First, we benchmark the well-known language models like BERT and ALBERT along with several popular networks for both tasks of sentiment and intent classification. Second, we provide ImpactCite, which is XLNet-based method for citation impact analysis. All evaluations are performed on a set of publicly available citation analysis datasets. Evaluation results reveal that ImpactCite achieves a new state-of-the-art performance for both citation intent and sentiment classification by outperforming the existing approaches by 3.44% and 1.33% in F1-score. Therefore, we emphasize ImpactCite (XLNet-based solution) for both tasks to better understand the impact of a citation. Additional efforts have been performed to come up with CSC-Clean corpus, which is a clean and reliable dataset for citation sentiment classification.

研究の動機と目的

• 科学的文献におけるキャシオンセンチメント分析のための信頼性が高くクリーニングされたデータセットの不足に応えること。
• CNN、RNN、LSTM、BERT、ALBERTといったさまざまなディープラーニングモデルを、キャシオンセンチメントおよび意図分類のベンチマークに用いること。
• XLNetベースのアーキテクチャを用いて、センチメントと意図分類の両方を統合的に処理する最先端のソリューションを構築すること。
• キャシオンテキスト内の文脈的および順序的依存関係を捉えることで、キャシオンインパクトの定性的な評価を向上させること。
• 小規模で不均衡なキャシオンデータセットにおいても、優れた性能を示す堅牢で汎用性の高いモデルを提供すること。

提案手法

• 科学的キャシオンにおけるセンチメントと意図分類のための微調整済みXLNetベースのモデル、ImpactCiteを提案する。
• XLNetの独自の自己回帰的事前学習と順列言語モデル化を活用し、キャシオンテキスト内の長距離依存関係とグローバルな文脈を捉える。
• CSC-Cleanデータセットにおけるクラス不均衡に対処するため、ダウンサンプリングや順列を用いたデータオーグメンテーションといったクラスバランス技術を適用する。
• 事前学習済みのXLNetベースモデルをキャシオン固有のセンチメントおよび意図分類タスクに微調整することで、トランスファー学習を実装する。
• 文脈エンコーダーを共有しながら、センチメント分類用と意図分類用の別々のヘッドを採用することで、効率的なマルチタスク学習を実現する。
• CSC-Cleanデータセットに対して10-fold交差検証を実施し、評価の堅牢性と一般化性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 BERT や ALBERT といった既存のアーキテクチャよりも、XLNetベースのモデルがキャシオンセンチメントおよび意図分類で優れた性能を示せるか？
• RQ2 提案されたImpactCiteモデルは、キャシオンセンチメントデータセットにおけるクラス不均衡問題を効果的に処理できるか？
• RQ3 事前処理およびデータオーグメンテーションは、小規模で不均衡なキャシオンデータセットにおいて、どの程度性能向上に寄与するか？
• RQ4 1つの統合モデルが、センチメント分類および意図分類の両タスクで最先端の性能を達成できるか？
• RQ5 BERTのような双方向モデルと比較して、XLNetの自己回帰的性質は、キャシオンテキストにおける文脈モデリングをどの程度向上させるか？

主な発見

• ImpactCiteは、CSC-Cleanキャシオンセンチメントデータセットにおいて、77.73%のF1スコアを達成し、以前の最先端（76.4%）を1.33ポイント上回った。
• SciCite意図分類データセットでは、F1スコアが88.93%に達し、以前の最先端（SciBERT）を3.44%上回った。
• モデルは、ポジティブ、ネガティブ、ニュートラルの3つのセンチメントクラスすべてで優れた性能を示し、特に従来の性能が低かったネガティブクラスのF1スコアが顕著に向上した。
• 長距離依存関係をモデル化できる能力のおかげで、ファーカルロスやSMOTEを適用したLSTM、CNN、RNNといったベースラインモデルを、ImpactCiteは顕著に上回った。
• XLNetの順列ベースのトレーニングにより、限られたデータでも良好な一般化性能が得られ、小規模で不均衡なキャシオンデータセットに対しても堅牢であることが示された。
• 新たにリリースされたCSC-Cleanデータセットは、以前のバージョンよりも信頼性が高く一貫性があり、キャシオンインパクト分析モデルのより正確なベンチマークが可能になった。