[論文レビュー] Empowering Interdisciplinary Research with BERT-Based Models: An Approach Through SciBERT-CNN with Topic Modeling

Darya Likhareva, Hamsini Sankaran+1 more|arXiv (Cornell University)|Apr 16, 2024

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本稿では、Elsevier OA CC-BY コーパスからの科学的論文の多ラベル分類を改善するために、BERTトピックモデリングとクラス重み付けを組み合わせた拡張されたSciBERT-CNNハイブリッドモデルを提案する。抽象、本文、題名、およびトップトピックキーワードをマルチセグメント入力戦略で統合することで、特にクラス不均衡や多分野的コンテンツの処理において、F1スコアとモデルの頑健性が顕著に向上した。

ABSTRACT

Researchers must stay current in their fields by regularly reviewing academic literature, a task complicated by the daily publication of thousands of papers. Traditional multi-label text classification methods often ignore semantic relationships and fail to address the inherent class imbalances. This paper introduces a novel approach using the SciBERT model and CNNs to systematically categorize academic abstracts from the Elsevier OA CC-BY corpus. We use a multi-segment input strategy that processes abstracts, body text, titles, and keywords obtained via BERT topic modeling through SciBERT. Here, the [CLS] token embeddings capture the contextual representation of each segment, concatenated and processed through a CNN. The CNN uses convolution and pooling to enhance feature extraction and reduce dimensionality, optimizing the data for classification. Additionally, we incorporate class weights based on label frequency to address the class imbalance, significantly improving the classification F1 score and enhancing text classification systems and literature review efficiency.

研究の動機と目的

• 意味的複雑さと論文発行量の多さによる、多分野的科学的文献の分類の課題に対処すること。
• 標準的なBERTモデルが、洗練された科学的言語を捉えるのと、多ラベルテキスト分類におけるクラス不均衡を処理するのにおける限界を克服すること。
• 文脈的埋め込みと構造的特徴統合を活用することで、学術的文献レビューの分類精度と効率を向上させること。
• データレベルおよびモデルレベルの最適化を通じて、低頻度および広範な主題カテゴリ（例：'MULT'、'MEDI'）における誤分類率を低減すること。
• BERT、CNN、およびトピックモデリングを統合したハイブリッドアーキテクチャを用いて、科学的テキストにおける多ラベル分類のベンチマークを確立すること。

提案手法

• 抽象、本文、題名、およびBERTで抽出された上位10キーワードを別々の入力として処理するマルチセグメント入力戦略を採用し、SciBERTモデルに供給する。
• 各セグメントから[CLS]トークンの埋め込みを抽出し、それらを連結して下流分類のための統一された文脈的表現を形成する。
• 連結された埋め込みを1次元畳み込みニューラルネットワーク（CNN）に供給し、ReLU活性化関数、マックスプーリング、ドロップアウトを用いて特徴抽出と次元削減を行う。
• 分類のための全結合層に続いてシグモイド活性化関数を適用し、複数の主題分野を独立して予測可能にする多ラベル分類を実現する。
• ラベル頻度の逆数に比例するクラス重みを導入し、データセットにおける長尾分布に起因する影響を軽減する。
• トピックモデリングとCNNベースの特徴学習を統合したハイブリッドアーキテクチャを用いて、Elsevier OA CC-BY コーパス上でSciBERTモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 マルチセグメント入力とトピックモデリングを組み合わせたハイブリッドSciBERT-CNNモデルは、標準的なBERTモデルと比較して、科学的論文の多ラベル分類精度を向上させることができるか？
• RQ2 ラベル頻度に基づくクラス重みの組み込みが、長尾の主題カテゴリにおける誤分類をどの程度低減できるか？
• RQ3 BERTで抽出されたトピックキーワードの統合は、多分野的研究論文の分類能力を向上させるのにどの程度有効か？
• RQ4 科学的テキスト分類における主な誤分類要因は何か、またそれらはラベルの広範さや分野固有性とどのように関連しているか？
• RQ5 ジャーナルベースの主題分類スキームに内在する構造的制限が、モデル性能に悪影響を及える可能性はあり、もしあるならば、それらをどのように緩和できるか？

主な発見

• SciBERT-CNNモデルは、全18の主題分野においてAUCスコアが0.93から0.99の範囲で達成され、優れた識別性能を示した。
• 最高のパフォーマンスを示したのは'EART'（地球科学）および'MATE'（材料科学）で、高いAUCとF1スコアを記録し、これらの分野におけるモデルの汎化能力の高さを示した。
• 初期段階でのクラス不均衡が顕著に影響し、'DENT'と'NURS'のF1スコアはそれぞれ0.0と0.05にとどまったが、低頻度クラスをより広範なカテゴリに統合することで改善された。
• 'MULT'（多分野的）ラベルは、分野間で定義が広範かつ多様であるため、最も多くの誤分類が発生した。
• 'MEDI'（医学）カテゴリは、'BIOC'（生物学）と用語が重複するため、高い誤分類率を示し、近縁分野間の意味的重複の課題を浮き彫りにした。
• 大多数の誤分類は、ラベルなし予測として発生しており、曖昧またはスパースな状況において、モデルが自信を持ってラベルを割り当てるための十分な文脈的手がかりが不足していることを示している。