[論文レビュー] Identifying the Development and Application of Artificial Intelligence in Scientific Text

James Dunham, Jennifer Melot+1 more|arXiv (Cornell University)|Feb 17, 2020

Biomedical Text Mining and Ontologies参考文献 16被引用数 22

ひとこと要約

本稿では、arXivの専門家が付与した分野タグをAI関連性の代理指標として用いることで、SciBERTを用いた転移学習的手法を提案し、AI関連の科学的論文を同定する。arXivメタデータで訓練されたモデルは、分野固有のタスクでF1スコアが0.75から0.86の間で達成され、Web of Science、Dimensions、Microsoft Academic Graphといった外部コーパスに対しても効果的に一般化し、手動ラベリングなしで強固なドメイン外性能を示している。

ABSTRACT

We describe a strategy for identifying the universe of research publications relevant to the application and development of artificial intelligence. The approach leverages the arXiv corpus of scientific preprints, in which authors choose subject tags for their papers from a set defined by editors. We compose a functional definition of AI relevance by learning these subjects from paper metadata, and then inferring the arXiv-subject labels of papers in larger corpora: Clarivate Web of Science, Digital Science Dimensions, and Microsoft Academic Graph. This yields predictive classification $F_1$ scores between .75 and .86 for Natural Language Processing (cs.CL), Computer Vision (cs.CV), and Robotics (cs.RO). For a single model that learns these and four other AI-relevant subjects (cs.AI, cs.LG, stat.ML, and cs.MA), we see precision of .83 and recall of .85. We evaluate the out-of-domain performance of our classifiers against other sources of topic information and predictions from alternative methods. We find that a supervised solution can generalize to identify publications that belong to the high-level fields of study represented on arXiv. This offers a method for identifying AI-relevant publications that updates at the pace of research output, without reliance on subject-matter experts for query development or labeling.

研究の動機と目的

• 分野の進化する性質や一貫性の欠如による定義の難しさに対処するため、AI関連研究を同定する定義的課題に取り組む。
• 手動でのキュレーションや静的キーワードクエリに依存しない、スケーラブルで自動化されたAI関連論文の検出手法を開発する。
• arXivの動的でコミュニティがアノテートした分野タグに基づいて訓練されたモデルの、外部科学データベースへの一般化性能を評価する。
• 研究出力に応じて更新可能な、再現可能な、最新の分類フレームワークを提供し、専門家ラベル付きクエリの制限を回避する。
• 一貫したデータ駆動型のAI関連性定義を用いて、多様な科学分野におけるAIの発展と応用の文献計測分析を可能にする。

提案手法

• コミュニティがアノテートしたラベルからAI関連性の機能的定義を学ぶために、arXivメタデータおよび分野タグで微調整されたSciBERTモデルを用いる。
• モデルは、cs.CL、cs.CV、cs.RO、cs.AI、cs.LG、stat.MLの6つのAI関連分野のarXiv分野カテゴリで訓練される。
• 同じモデルを再訓練せずに、Clarivate Web of Science、Digital Science Dimensions、Microsoft Academic Graphといった外部コーパスに推論を適用する。
• ホールドアウトされたarXivテストセットにおけるF1スコアを評価し、MAGの分野分類と一致させることでドメイン外性能を評価する。
• キーワードベース手法、特に先行する文献計測研究におけるハイブリッドキーワード・リーナー手法と比較し、性能をベンチマークする。
• 科学的テキストでの事前学習に基づくSciBERTからの転移学習に依存しており、ドメインシフトの可能性があるが、新しいドメインへの一般化を強化する。

実験結果

リサーチクエスチョン

• RQ1 arXivのコミュニティがアノテートした分野タグで訓練された教師ありNLPモデルは、外部の科学的コーパスにおいてAI関連論文を同定するために一般化可能か？
• RQ2 微調整されたSciBERTモデルの性能は、キーワードベースまたはハイブリッドキーワード・リーナー手法と比較して、AI関連論文の同定においてどのように異なるか？
• RQ3 arXivの暗黙的でリアルタイムの分野定義を、広範な科学的文献全体におけるAI関連研究の定義と同定にどの程度活用できるか？
• RQ4 特にarXivがカバーしていない分野において、モデルは多様な科学分野の論文をどの程度適切に分類できるか？
• RQ5 クラス不均衡がモデル性能に与える影響は何か？そして、その影響は後続の応用でどのように軽減できるか？

主な発見

• モデルはarXivにおける分野固有の分類でF1スコアが0.75から0.86の間で達成され、6つの主要なAI分野における多クラスAI関連性ラベルではF1が0.84を記録した。
• キーワードベース手法は、arXivラベルを基準に評価したところ、それぞれF1スコアが0.55および0.59にとどまり、教師あり学習アプローチの優位性が示された。
• モデルは外部コーパスに対しても効果的に一般化し、予測されたAI関連性の割合がMAGの分野分類と妥当に一致しており、強力なドメイン外一般化性能を示している。
• 手動ラベリングや専門家がキュレートしたクエリを必要とせず、スケーラブルで最新のAI関連論文の同定が可能である。
• クラス不均衡に対してもモデルは頑健であり、arXivデータではネガティブ例対ポジティブ例の比率が9:1であるが、多様な科学分野で良好な性能を示した。
• 本研究では、arXivの動的でコミュニティ主導の分野分類体系からの転移学習が、静的キーワードや専門家定義のクエリに代わる、実用的でスケーラブルなAI文書同定の代替手段であることが示された。