[論文レビュー] Improving reference mining in patents with BERT

Ken S. Voskuil, Suzan Verberne|arXiv (Cornell University)|Jan 4, 2021

Intellectual Property and Patents参考文献 2被引用数 7

ひとこと要約

本稿では、洗練されたデータセット上でBERTベースのモデル（BERT、BioBERT、SciBERT）を活用することで特許の参照抽出を改善し、交差検証で97％のリ call を達成し、前例に比べて50％多い73万5千件の引用を抽出した。この手法は、強化された学習データと転移学習による系列ラベリングを組み合わせており、大規模な特許コーパスにおいてCRFやFlairと比較して、内在的および外在的評価の両面で顕著に優れた性能を発揮した。

ABSTRACT

In this paper we address the challenge of extracting scientific references from patents. We approach the problem as a sequence labelling task and investigate the merits of BERT models to the extraction of these long sequences. References in patents to scientific literature are relevant to study the connection between science and industry. Most prior work only uses the front-page citations for this analysis, which are provided in the metadata of patent archives. In this paper we build on prior work using Conditional Random Fields (CRF) and Flair for reference extraction. We improve the quality of the training data and train three BERT-based models on the labelled data (BERT, bioBERT, sciBERT). We find that the improved training data leads to a large improvement in the quality of the trained models. In addition, the BERT models beat CRF and Flair, with recall scores around 97% obtained with cross validation. With the best model we label a large collection of 33 thousand patents, extract the citations, and match them to publications in the Web of Science database. We extract 50% more references than with the old training data and methods: 735 thousand references in total. With these patent-publication links, follow-up research will further analyze which types of scientific work lead to inventions.

研究の動機と目的

• 特許の本文中の参照抽出の正確性とリ call を向上させること。特許の表紙に記載された引用と比較して、本文中の引用はしばしば軽視されるためである。
• 繰り返しモデル分析を通じてラベル付けエラーおよび前処理エラーを特定・是正することで、先行研究のデータセットに見られる制限を是正すること。
• 特許の参照抽出における系列ラベリングのためのBERTベースのモデル（BERT、BioBERT、SciBERT）がCRFやFlairに比べて効果を発揮するかを評価すること。
• 最良のパフォーマンスを示したモデルを用いて、33,338件のラベルなしバイオテクノロジー特許に適用し、大規模な特許公開リンクの抽出を可能にすること。
• BERTおよびCRFモデルの誤りパターンを分析し、それらが参照の下流でのパースおよび一致処理に与える影響を理解すること。

提案手法

• 本研究では、モデルの予測結果と手動による検査を組み合わせ、先行研究の22件の特許からなるデータセットにおけるラベル付けエラーを再評価・是正し、より高品質な学習データセットを構築した。
• IOBタギングを用いて特許テキスト内の参照スパンを特定する目的で、BERT、BioBERT、SciBERTの3つのBERTベースのモデルを微調整した。
• 改善されたデータセットを用いて、1件を除いて残りを訓練に使用するleave-one-out交差検証を実施し、適合率、再現率、F1スコアを報告した。
• 最良のパフォーマンスを示したモデル（SciBERT）を、33,338件のラベルなしUSPTOバイオテクノロジー特許から成る大規模な未ラベル付きコーパスに適用し、本文中の参照を抽出した。
• 抽出された参照をWeb of Scienceデータベースと照合して外在的パフォーマンスを評価し、適合率よりも再現率を優先した。
• 誤り分析は、参照スパン内での「O」予測の相対的位置を検討することで実施し、BERTとCRFモデルの誤りパターンの構造的差異を理解することを目的とした。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、CRFやFlairと比較して、特許の本文中の参照抽出のリ call を顕著に向上させることができるか？
• RQ2 学習データの品質向上が、参照抽出におけるモデルのパフォーマンスに与える影響は何か？
• RQ3 BERTベースのモデルとCRFの系列ラベリングにおける誤りパターンは、どのように異なっているか？
• RQ4 BERTモデルは、大規模で未ラベル付きの特許コーパスに適用された場合、前例の手法をどの程度上回るか？
• RQ5 改善されたモデルは、前例の手法よりも多くの特許公開リンクを抽出できるか？また、これにより科学・産業間の知識移動の分析が向上するか？

主な発見

• 洗練された学習データは、顕著なパフォーマンス向上をもたらし、BERTベースのモデルが交差検証で97％のリ call を達成した。これは、CRFやFlairを著しく上回った。
• 最良のモデル（SciBERT）は、33,338件のラベルなし特許から73万5千件の本文中の参照を抽出した。これは前例の手法に比べて50％多い。
• BERTモデルは、CRF（中央値長さ4）と比較して、誤りの数が少なく、誤りの長さも短かった（中央値長さ1〜2）。誤りは参照全体にわたり均等に分布していた。
• CRFモデルは、長大な系列を処理する構造的制限のため、特に中央部の参照セグメントを欠落させる傾向が強かった。
• 内在的スコアは類似していたが、BERTモデルは外在的評価でも高いリ call と優れたパフォーマンスを示し、現実世界のデータへの一般化能力が優れていた。
• 誤り分析の結果、CRFモデルは参照の開始部または終了部で失敗しやすい一方、BERTモデルは内部トークンの欠落を多く示す傾向があり、異なる失敗モードを示した。