[論文レビュー] OAG-BERT: Towards A Unified Backbone Language Model For Academic Knowledge Services

Xiao Liu, Da Yin+6 more|arXiv (Cornell University)|Mar 3, 2021

Topic Modeling参考文献 36被引用数 6

ひとこと要約

OAG-BERTは、オープンアカデミックグラフ（OAG）で事前学習された統合的でエンティティ拡張型の言語モデルであり、異種の学術的エンティティ（例：論文、著者、会議）と科学的テキストを統合している。9つの学術的NLPタスクにおいて最先端の性能を達成し、会議予測やタイトル生成などのタスクにおけるゼロショット推論を実現し、強力な一般化性能とNSFCレビュアー推薦およびAMinerにおける実世界での展開を示している。

ABSTRACT

Academic knowledge services have substantially facilitated the development of the science enterprise by providing a plenitude of efficient research tools. However, many applications highly depend on ad-hoc models and expensive human labeling to understand scientific contents, hindering deployments into real products. To build a unified backbone language model for different knowledge-intensive academic applications, we pre-train an academic language model OAG-BERT that integrates both the heterogeneous entity knowledge and scientific corpora in the Open Academic Graph (OAG) -- the largest public academic graph to date. In OAG-BERT, we develop strategies for pre-training text and entity data along with zero-shot inference techniques. In OAG-BERT, we develop strategies for pre-training text and entity data along with zero-shot inference techniques. Its zero-shot capability furthers the path to mitigate the need of expensive annotations. OAG-BERT has been deployed for real-world applications, such as the reviewer recommendation function for National Nature Science Foundation of China (NSFC) -- one of the largest funding agencies in China -- and paper tagging in AMiner. All codes and pre-trained models are available via the CogDL toolkit.

研究の動機と目的

• 学術的知識応用が一時的で高コストな人手によるアノテーションデータに依存する問題に対処すること。
• 異種の学術的エンティティ知識と科学的テキストを統合する統合的で事前学習済みの言語モデルを開発すること。
• 下流の学術的タスクにおけるアノテーションコストを低減するために、ゼロショット推論を可能にすること。
• 一度のタスク特化のファインチューニングなしに、多様な学術的知識サービスをサポートする汎用バックボーンモデルを提供すること。
• NSFCレビュアー推薦やAMinerなどの実世界システムにモデルを展開すること。

提案手法

• OAG（7億以上のエンティティと20億以上の関係、1億1000万件の要約と500万件の論文を含む）でOAG-BERTを事前学習する。
• 著者、会議、研究分野などの異なるエンティティタイプを区別するためのエンティティタイプ埋め込みを導入する。
• マスク言語モデル化の際、エンティティ長に応じて連続するトークンスパンをマスクするスパン対応エンティティマスキング戦略を設計する。
• エンティティ内トークン順序とエンティティ間順序の両方をモデル化するため、エンティティ対応2次元位置エンコーディングを提案する。
• 会議予測、所属機関予測、研究分野タグ付けなどのタスクにおけるプロンプトベースのゼロショット推論を適用する。
• エンティティ予測にトークンの対数確率の和を用い、エンコーダー型モデルにおける性能向上のため、順序を無視したデコード法を採用する。

実験結果

リサーチクエスチョン

• RQ1 異種の学術的知識とテキストで事前学習された統合的言語モデルは、多様な学術的NLPタスクにおいて、タスク特化型モデルを上回ることができるか？
• RQ2 OAG-BERTを用いたゼロショット推論は、会議、所属機関、研究分野予測などのエンティティ予測タスクにおいてどの程度効果的か？
• RQ3 エンティティ対応位置エンコーディングとスパン対応マスキングを組み込むことで、エンティティ豊富な学術的タスクにおけるモデル性能はどの程度向上するか？
• RQ4 タスク特化のファインチューニングなしに、OAG-BERTは複数の学術的知識サービスにうまく一般化できるか？
• RQ5 OAG-BERTは、レビュアー推薦や論文タグ付けなどの実世界応用において、どの程度の性能を示すか？

主な発見

• OAG-BERTは、名前の曖昧解消、文書検索、論文推薦を含む9つの学術的知識集約的タスクで最先端の性能を達成している。
• モデルは強力なゼロショット能力を示しており、人的評価の結果、OAG-BERTが生成したタイトルの47.6％が元の人の書いたタイトルと区別がつかないことが判明した。
• エンティティ予測にトークンの対数確率の和を用いることで、平均化よりも優れた性能を示し、モデルの信頼度スコアとの整合性が高まっていることが示された。
• 順序を無視したデコード法は、OAG-BERT や SciBERT などのエンコーダー型モデルにおいて、左から右へのデコード法よりも優れた結果をもたらした。
• OAG-BERTは、NSFCレビュアー推薦やAMinerを含む実世界システムに成功裏に展開されており、実用的価値が裏付けられている。
• モデルはCogDLツールキットを通じて公開されており、研究コミュニティによる広範なアクセスと再利用が可能になっている。