[論文レビュー] Building astroBERT, a language model for Astronomy & Astrophysics

Félix Grèzes|arXiv (Cornell University)|Oct 29, 2021

Astronomy and Astrophysical Research参考文献 1被引用数 5

ひとこと要約

この論文では、NASA ADSデータベースの395,499篇の天文学論文を用いて、BERTのトランスフォーマー・アーキテクチャをベースに微調整されたドメイン特化型言語モデル、astroBERTを紹介する。科学的テキストを対象にマスク言語モデルと次文予測の学習を経て訓練されたastroBERTは、天文学関連組織の名前エンティティ認識タスクで90.2%のF1スコアを達成し、BERTおよびSciBERTを上回り、天文学分野における意味的検索の有効性を示している。

ABSTRACT

The existing search tools for exploring the NASA Astrophysics Data System (ADS) can be quite rich and empowering (e.g., similar and trending operators), but researchers are not yet allowed to fully leverage semantic search.<br> For example, a query for "results from the Planck mission" should be able to distinguish between all the various meanings of Planck (person, mission, constant, institutions and more) without further clarification from the user.<br> At ADS, we are applying modern machine learning and natural language processing techniques to our dataset of recent astronomy publications to train astroBERT, a deeply contextual language model based on research at Google.<br> Using astroBERT, we aim to enrich the ADS dataset and improve its discoverability, and in particular we are developing our own named entity recognition tool. We present here our preliminary results and lessons learned.

研究の動機と目的

• 天文学および天体物理学分野に特化した言語モデルを開発し、科学的テキストの意味的理解を向上させること。
• 「Planck」のような曖昧な用語に対しても強力な意味的検索機能を備えていない現行のADS検索ツールの限界を是正すること。
• 高品質でクリーニング済みの天文学文献を用いて言語モデルを訓練し、施設、ミッション、組織などの名前エンティティ認識（NER）を向上させること。
• 一般用途向けモデル（BERTやSciBERT）に対して、天体物理学分野特有のNERタスクで優れた性能を発揮すること。
• Hugging Faceを通じて訓練済みモデルをコミュニティに公開し、広く利用可能にする。

提案手法

• ADSデータベースに収録された395,499篇の天文学論文から抽出した16GBのクリーニング済み英語テキストを用いて、BERTアーキテクチャに基づくastroBERTを事前学習する。
• ケースを保持し、アクセントを除去することでエンティティ認識を向上させる、30,000語の語彙を持つカスタムWordPieceトークナイザーを採用した。
• 文脈的な表現を学ぶために、事前学習段階でマスク言語モデル（MLM）と次文予測（NSP）を実施した。
• 承認欄に含まれる1,856文のキュレート済みデータセット（6,279個の注釈付き組織名を含む）を用いて、モデルを微調整した。
• NERタスクにおける性能評価には10分割交差検証を用い、複数のデータセット上でモデル間のパープレキシティを比較した。
• V100 GPU上でメモリを削減し、学習を高速化するため、混合精度浮動小数点演算を用いて学習を実施した。

実験結果

リサーチクエスチョン

• RQ1 天文学文献で事前学習されたBERTベースの言語モデルは、一般ドメイン向けモデル（BERTやSciBERT）に比べ、天体物理学分野における名前エンティティ認識タスクで優れた性能を示せるか？
• RQ2 事前学習段階で次文予測（NSP）タスクを組み込むことで、下流のNERタスクにおける性能にどのような影響を与えるか？
• RQ3 一般のWikipediaベースのBERTと比較して、科学的天文学テキストに特化した事前学習が、意味的理解にどの程度向上効果をもたらすか？
• RQ4 データクリーニングおよびトークナイザー設計が、天文学分野における科学的NLPタスクのモデル性能に与える影響は何か？
• RQ5 微調整済みのastroBERTモデルは、科学的論文における組織の略語および正式名称を高精度で同定できるか？

主な発見

• astroBERT(NSP+MLM)はNERタスクでF1スコア0.902を達成し、BERT（0.859）およびastroBERT(MLM)（0.893）を上回った。
• ADSデータセットにおけるモデルのパープレキシティは、astroBERT(NSP+MLM)で5.71であった。これは、天文学テキストにおける言語モデル性能が優れていることを示している。
• astroBERT(MLM)は、BERTと24.5%、SciBERTと35.3%の語彙被りを示し、顕著なドメイン特化型適応が図られていることが示された。
• ADSデータセット全量（38億トークン）を用いた学習により、科学的テキスト処理の性能が向上し、ADSデータセットにおけるパープレキシティは、BERTの41.3からastroBERTの4.16に低下した。
• NERの微調整にはたった3エポックで十分であり、1エポックあたり約90秒で実行可能であり、効率的な適応が可能であることが示された。
• 2つのV100 GPUおよび768GB RAMを搭載したシステム上で、MLMの学習は1エポックあたり8時間、NSP+MLMの学習は1エポックあたり22時間で成功裏に完了した。