[論文レビュー] Leveraging Domain Agnostic and Specific Knowledge for Acronym Disambiguation

Qiwei Zhong, Guanxiong Zeng+5 more|arXiv (Cornell University)|Jul 1, 2021

Biomedical Text Mining and Ontologies参考文献 18被引用数 7

ひとこと要約

本稿では、科学的略語の意味あいまいさ解消のため、ドメインに依存しない（RoBERTa）およびドメイン特化型（SciBERT）の表現を併用する階層的二重パス BERT モデル、hdBERT を提案する。多層パーセプトロンを用いてこれらの二重パス文脈表現を統合することで、hdBERT は SciAD データセット上でマクロ F1 93.73% を達成し、先行する最先端手法を上回る性能を示した。

ABSTRACT

An obstacle to scientific document understanding is the extensive use of acronyms which are shortened forms of long technical phrases. Acronym disambiguation aims to find the correct meaning of an ambiguous acronym in a given text. Recent efforts attempted to incorporate word embeddings and deep learning architectures, and achieved significant effects in this task. In general domains, kinds of fine-grained pretrained language models have sprung up, thanks to the largescale corpora which can usually be obtained through crowdsourcing. However, these models based on domain agnostic knowledge might achieve insufficient performance when directly applied to the scientific domain. Moreover, obtaining large-scale high-quality annotated data and representing high-level semantics in the scientific domain is challenging and expensive. In this paper, we consider both the domain agnostic and specific knowledge, and propose a Hierarchical Dual-path BERT method coined hdBERT to capture the general fine-grained and high-level specific representations for acronym disambiguation. First, the context-based pretrained models, RoBERTa and SciBERT, are elaborately involved in encoding these two kinds of knowledge respectively. Second, multiple layer perceptron is devised to integrate the dualpath representations simultaneously and outputs the prediction. With a widely adopted SciAD dataset contained 62,441 sentences, we investigate the effectiveness of hdBERT. The experimental results exhibit that the proposed approach outperforms state-of-the-art methods among various evaluation metrics. Specifically, its macro F1 achieves 93.73%.

研究の動機と目的

• 一般ドメインの事前学習モデルを適用した場合の科学的略語の意味あいまいさ解消性能の低さという課題に対処すること。
• 略語の意味あいまいさ解消のための大規模かつ高品質なアノテート済み科学的データの不足とその高コストという課題を克服すること。
• 微細な一般知識と高レベルの科学的ドメイン特化型の意味を統合し、意味あいまいさ解消の精度を向上させること。
• 低リソースの科学的 NLP タスクにおける性能向上を実現するため、複数の事前学習言語モデルを効果的に統合する統一フレームワークの開発

提案手法

• バイトレベル BPE トークン化を用いて一般ドメインコーパスで事前学習された RoBERTa を採用し、ドメインに依存しない微細な意味表現を捉える。
• WordPiece トークン化を用いて大規模な科学的出版物コーパスで事前学習された SciBERT を活用し、高レベルの科学的ドメイン特化型の意味をモデル化する。
• 入力文と候補となる長文表記を、両方のモデル（RoBERTa および SciBERT）のエンコーダーに供給し、二重パスの文脈表現を生成する。
• 両モデルの最終隠れ状態を連結し、多層パーセプトロンを介してエンドツーエンド分類に渡す。
• Supervised fine-tuning を用い、交差エントロピー損失関数を用いて SciAD データセット上でモデル全体をエンドツーエンドで学習する。
• トランスフォーマー構造を活用し、文脈および候補拡張における長距離依存関係を効果的に注目（attention）することでモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメインに依存しないおよびドメイン特化型の事前学習言語モデルを統合することで、科学的テキストにおける略語の意味あいまいさ解消性能が向上するか？
• RQ2 RoBERTa および SciBERT からの二重パス表現統合は、単一モデルベースラインと比較して意味あいまいさ解消精度にどのように影響するか？
• RQ3 hdBERT は SciAD ベンチマークにおいて、既存の最先端手法をどの程度上回るか？
• RQ4 現在のモデルの失敗事例は何か？また、二重パスモデリングは単一モデルが失敗する曖昧なケースを解消するのに役立つのか？

主な発見

• hdBERT は SciAD データセットでマクロ F1 スコア 93.73% を達成し、先行する最先端手法を顕著に上回った。
• RoBERTa や SciBERT と比較して、開発セットにおける収束が速く、損失値も低かったことから、二重表現の有効な統合が実現していることが示された。
• RoBERTa や SciBERT が個別に失敗するケース（例：'SM' を 'Shared Memory' と予測するが、正しくは 'Streaming Multiprocessors'）において、hdBERT は正しく正しい長文表記を特定した。
• 改善は見られたが、hdBERT を含むすべてのモデルは人間の性能を下回っており、特にマクロリコールと F1 において顕著な不足が見られたことから、さらなる研究の余地があることが示された。
• 『Federated Learning』のような頻出フレーズに対して、モデルはしばしば 'FL' を 'Federated Learning' と誤分類し、'Fixated Locations' ではなく誤って予測してしまうことがあり、注目メカニズムのバイアスが原因であると推測された。
• データセット内のノイズ（例：'RF' が 'Regression Forest' および 'Regression Function' の両方としてアノテートされているなど）が、モデルの一般化性能に悪影響を及える可能性がある。