[論文レビュー] Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding

Amir Pouran Ben Veyseh, Franck Dernoncourt+3 more|arXiv (Cornell University)|Dec 22, 2020

Biomedical Text Mining and Ontologies参考文献 31被引用数 12

ひとこと要約

本論文は、科学的文書理解のためのアキュロンム特定および解釈（AI@SDU および AD@SDU）という2つの共同課題を提示し、科学的アキュロンム用の最初の大規模で手作業でアノテートされたデータセットである SciAI（17,506 文）および SciAD（62,441 文）を導入した。最良のシステムである DeepBlueAI は、BERTに基づく二値分類アプローチを用いて解釈で 94.05% F1 を達成し、ベースラインを著しく上回ったが、依然として人間水準のパフォーマンス（96.10% F1）には及ばない。

ABSTRACT

Acronyms are the short forms of longer phrases and they are frequently used in writing, especially scholarly writing, to save space and facilitate the communication of information. As such, every text understanding tool should be capable of recognizing acronyms in text (i.e., acronym identification) and also finding their correct meaning (i.e., acronym disambiguation). As most of the prior works on these tasks are restricted to the biomedical domain and use unsupervised methods or models trained on limited datasets, they fail to perform well for scientific document understanding. To push forward research in this direction, we have organized two shared task for acronym identification and acronym disambiguation in scientific documents, named AI@SDU and AD@SDU, respectively. The two shared tasks have attracted 52 and 43 participants, respectively. While the submitted systems make substantial improvements compared to the existing baselines, there are still far from the human-level performance. This paper reviews the two shared tasks and the prominent participating systems for each of them.

研究の動機と目的

• 科学的文書におけるアキュロンム特定および解釈のための大規模で手作業でアノテートされたデータセットの不足に対処すること。
• 従来の研究がしばしば生物医学分野に限定され、無教師手法や小規模データセットを用いるという制限を克服すること。
• 共通課題を実施することで、アキュロンム処理システムのベンチマーク化と向上を図り、科学的文書理解を進める。
• 今後の研究を支援するため、公開可能で高品質なデータセット（SciAI および SciAD）を提供すること。

提案手法

• 著者らは、arXiv の科学論文から抽出した 17,506 文の手作業アノテートデータセットである SciAI を作成し、アキュロンム特定を目的とした。
• 732 個の曖昧なアキュロンムの辞書を用いて、62,441 文のより大きなデータセットである SciAD を構築し、アキュロンム解釈を目的とした。
• AI@SDU 共同課題では、SciAI を用いて、科学的文書におけるアキュロンムとその長形の特定を評価した。
• AD@SDU 共同課題では、SciAD を用いて、複数の候補の中から正しい長形を選択する能力を評価した。
• 参加者は、特徴ベースモデル（SVM、ナイーブベイズ）、ニューラルネットワーク（LSTM、CNN）、トランスフォーマー基盤モデル（BERT、RoBERTa）など、多様な手法を用いた。
• 最良のパフォーマンスを示したシステムである DeepBlueAI は、シーケンス入力形式 [long_form] [SEP] [sentence] を用い、アキュロンムの位置を特別トークンでマークすることで、各候補長形のスコアを算出する BERT 基盤の二値分類モデルを採用した。

実験結果

リサーチクエスチョン

• RQ1 ベースラインと比較して、現在の科学的文書におけるアキュロンム特定手法の有効性はいかほどか？
• RQ2 ニューラルおよびトランスフォーマー基盤モデルは、科学的文書におけるアキュロンム解釈をどの程度向上させられるか？
• RQ3 最先端のシステムと人間水準のパフォーマンスとの間には、アキュロンム解釈においてどの程度の性能ギャップがあるか？
• RQ4 特徴ベース、ニューラル、トランスフォーマー基盤の各モデリングアプローチは、アキュロンム解釈においてどのように比較されるか？
• RQ5 大規模で手作業でアノテートされたデータセットは、アキュロンム処理タスクのパフォーマンスを著しく向上させ得るか？

主な発見

• AI@SDU 共同課題には 52 チームが参加し、19 件の提出がなされ、最良のシステム（hdBERT）は 96.94% の精度、90.73% の再現率、93.73% の F1 スコアを達成した。
• AD@SDU 共同課題には 44 チームが参加し、12 件の提出がなされ、最良のシステム（DeepBlueAI）は SciAD テストセットで 96.95% の精度、91.32% の再現率、94.05% の F1 スコアを達成した。
• ベースライン（60.97% F1）を著しく上回ったが、依然として人間のパフォーマンス（97.82% 精度、94.45% 再現率、96.10% F1）には及ばない。
• トランスフォーマー基盤モデル、特に BERT および RoBERTa は、両タスクにおいて従来の特徴ベースおよびニューラルモデルを上回った。
• スパン予測および情報検索アプローチ（例：埋め込みのコサイン類似度の使用）は、競争力のあるパフォーマンスを示し、解釈に多様な効果的な戦略が存在することを示した。
• 公開された SciAI および SciAD データセットは、科学的文書におけるアキュロンム処理のための、これまでで最大の手作業アノテートリソースである。