[論文レビュー] SciDr at SDU-2020: IDEAS -- Identifying and Disambiguating Everyday Acronyms for Scientific Domain

Aadarsh Singh, Priyanshu Kumar|arXiv (Cornell University)|Feb 17, 2021

Biomedical Text Mining and Ontologies参考文献 25被引用数 4

ひとこと要約

本論文では、科学的文書における頭字語同定（AI）および頭字語解釈（AD）のための、BERTおよびSciBERTベースのアプローチを提示する。AIは系列タギングとして、ADはスパン予測として扱う。本システムはSDU-2020共有タスクにおいてAIで11位、ADで3位を達成し、BIOlessタギング、モデルブレンド、外部データ、および後処理を活用して、文脈が乏しい頭字語における性能を向上させた。

ABSTRACT

We present our systems submitted for the shared tasks of Acronym Identification (AI) and Acronym Disambiguation (AD) held under Workshop on SDU. We mainly experiment with BERT and SciBERT. In addition, we assess the effectiveness of "BIOless" tagging and blending along with the prowess of ensembling in AI. For AD, we formulate the problem as a span prediction task, experiment with different training techniques and also leverage the use of external data. Our systems rank 11th and 3rd in AI and AD tasks respectively.

研究の動機と目的

• 手動でのアノテーションが高コストかつ時間のかかる科学文書における頭字語の同定と解釈の課題に対処すること。
• ドメインエキスパートが頭字語を検出および正しい長形展開を選択するのを模倣する自動化されたNLPシステムの開発。
• ドメイン特化事前学習（SciBERT）および高度なディープラーニング技術を活用して、頭字語同定および解釈の性能を向上させること。
• データ拡張、外部知識、モデルアンサンブルの影響が、リソースが乏しい文脈におけるモデルの頑健性と正確性に与える影響を調査すること。
• モデル予測およびデータセットアノテーションの限界、特に文脈的手がかりが不足している頭字語に関して特定すること。

提案手法

• BERTおよびSciBERTを用いて頭字語同定を系列タギング問題として扱い、ラベル付けを簡素化し、学習効率を向上させるためにBIOlessタギングを採用する。
• 複数のモデルの予測を統合するためのモデルブレンドおよびハードボーティングアンサンブル戦略を適用し、モデルの頑健性と一般化性能を向上させる。
• 頭字語解釈をスパン予測タスクとして定式化し、文脈に基づいて候補となる長形展開から正しいものを選択する。
• 2段階訓練を用いてSDU-2020データセット上でSciBERTを微調整し、外部の科学的テキストを統合することで、レア頭字語における知識のインジェクションと性能向上を図る。
• 頭字語が文中で括弧内に展開されている場合に直接長形を予測するルールを実装し、そのような状況でのモデル誤りを是正する。
• 交差検証とテストセット予測を用いてモデル性能を評価し、個々のモデルとそのアンサンブルとの差異を分析して改善を導く。

実験結果

リサーチクエスチョン

• RQ1 科学的文書における頭字語同定および解釈において、一般Bertと比較してSciBERTはどの程度効果的か？
• RQ2 標準的なBIOタギングと比較して、BIOlessタギングは頭字語同定におけるモデル性能をどの程度向上させるか？
• RQ3 モデルアンサンブルおよびブレンドは、曖昧または低頻度の頭字語に対して、顕著に解釈精度を向上させることができるか？
• RQ4 外部の科学的テキストを統合することで、モデルの一般化性能および稀頭字語や未知語彙の頭字語における性能はどの程度向上するか？
• RQ5 モデルの主な失敗モードは何か。また、文脈が不十分な場合などのデータセットアノテーションの問題が予測の信頼性に与える影響は何か？

主な発見

• 本システムはSDU-2020共有評価において、頭字語同定（AI）で11位、頭字語解釈（AD）で3位を達成した。
• SciBERTは科学的コーパスでの事前学習のおかげで一般Bertを上回り、ドメイン特化言語モデルの利点を示した。
• BIOlessタギングとモデルブレンドは、複雑または曖昧な頭字語-長形ペアの処理において、AI性能の向上に顕著に寄与した。
• アンサンブルは予測の分散を低減し、個々のモデルが異なる予測を出した92件のテストインスタンスにおいて、特に文脈が乏しい頭字語に対して正確性を向上させた。
• 括弧内展開に基づく後処理により、長形が明示的に括弧内に書かれた15%のケースでモデル誤りが是正された。
• モデルは、文脈的手がかりが不足している、もしくは複数の妥当な展開が存在する頭字語（例：LPP、GCN）に対して最も苦戦したことが判明し、より良い文脈モデリングまたはデータ拡張の必要性が示された。