[論文レビュー] BERT-based Acronym Disambiguation with Multiple Training Strategies

Chunguang Pan, Bingyan Song+2 more|arXiv (Cornell University)|Feb 25, 2021

Natural Language Processing Techniques参考文献 27被引用数 8

ひとこと要約

本論文は、動的ネガティブサンプル選択、タスク適応的事前学習、 adversarial training、および偽ラベル付けを統合した、BERTに基づく二値分類モデルを提案し、科学的テキストにおける頭字語の意味あいまいさ解消を実現する。このモデルは、SciADデータセットにおいて最先端の性能を達成し、SDU@AAAI-21共同課題でF1スコア0.9405を記録し、人間の性能に非常に近い。

ABSTRACT

Acronym disambiguation (AD) task aims to find the correct expansions of an ambiguous ancronym in a given sentence. Although it is convenient to use acronyms, sometimes they could be difficult to understand. Identifying the appropriate expansions of an acronym is a practical task in natural language processing. Since few works have been done for AD in scientific field, we propose a binary classification model incorporating BERT and several training strategies including dynamic negative sample selection, task adaptive pretraining, adversarial training and pseudo labeling in this paper. Experiments on SciAD show the effectiveness of our proposed model and our score ranks 1st in SDU@AAAI-21 shared task 2: Acronym Disambiguation.

研究の動機と目的

• 科学的文献における頭字語が文脈依存的に複数の展開形をとるという課題に対処すること。
• BERTと複数のトレーニング戦略を活用することで、SciADベンチマークにおける性能を向上させること。
• 文脈に敏感な表現学習とデータ拡張技術を用いて、頭字語展開予測のあいまいさを低減すること。
• 科学的テキストにおける頭字語意味あいまいさ解消で人間水準の性能に近づくこと。

提案手法

• 下流タスクの表現により適合させるために、頭字語意味あいまいさ解消データセット上でタスク適応的事前学習を用いてSciBERTを微調整する。
• 難易度の高いネガティブな展開形に注目するため、動的ネガティブサンプル選択を適用し、モデルの一般化性能を向上させる。
• 勾配ベースのノイズを用いて単語埋め込みを摂動することで、 adversarial training を導入し、モデルのロバスト性を強化する。
• 未ラベルデータに対して高信頼度の予測を生成することで、偽ラベル付けを実施し、有効なトレーニングデータ量を増加させる。
• BERTが文脈を考慮した文の符号化を提供する二値分類ヘッドを用いて、候補セットから正しい展開形を予測する。
• 意味あいまいさ解消の正確性を共同で最適化するために、すべての戦略を1つのトレーニングパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の微調整を施したBERTベースのモデルは、従来のルールベース手法や事前学習を行わないディープラーニング手法を上回る性能を発揮できるか？
• RQ2 adversarial trainingと偽ラベル付けは、リソースが限られた頭字語意味あいまいさ解消タスクにおける一般化性能をどれほど向上させるか？
• RQ3 動的ネガティブサンプル選択は、意味あいまいな頭字語のインスタンスにおいて、モデルの収束と性能を向上させるか？
• RQ4 タスク適応的事前学習は、一般事前学習と科学的頭字語意味あいまいさ解消との間のドメインギャップをどれほど低減できるか？
• RQ5 ニューラルモデルは、科学的頭字語意味あいまいさ解消において、人間水準の性能にどれほど近づけるか？

主な発見

• 提案モデルはテストセットでF1スコア0.9405を達成し、ベースラインモデル（F1: 0.8190）および他のすべての競合モデルを顕著に上回った。
• SDU@AAAI-2021共同課題で1位を獲得し、2位のモデルよりF1スコアで0.32%高い結果を記録した。
• テストセットにおける人間の性能はF1: 0.9610であったため、モデルは人間水準の性能からわずか2.05ポイントの差で、非常に近い水準に達している。
• adversarial trainingはトレーニング時間を約100%延長したが、推論時間は1エポックあたり約150秒を維持した。
• 誤差解析の結果、モデルの失敗は主に意味的に類似した展開形（例：単数形 vs 復数形）および文脈が不足した文において発生していた。
• モデルは優れた一般化性能を示し、わずか5エポックで収束が確認された。