[論文レビュー] Patents Phrase to Phrase Semantic Matching Dataset

Grigor Aslanyan, Ian Wetherbee|arXiv (Cornell University)|Aug 1, 2022

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

本論文は、特許における技術用語に焦点を当てた、文脈に配慮した新しい人間アノテーション付きフレーズ対類似度データセットを紹介する。このデータセットには48,548件のエントリが含まれており、類義語、上位語、対義語などの細分化された意味的カテゴリと文脈的なCPCコードが用いられている。このデータセットにより、フレーズの意味の吟味や悪意のあるキーワードマッチングといった困難なケースの評価が可能となり、Sentence-BERTが最も優れた性能を示した（Spearman係数 0.577）。一般の特許向けに微調整されたBERTモデルでさえもこれを上回った。

ABSTRACT

There are many general purpose benchmark datasets for Semantic Textual Similarity but none of them are focused on technical concepts found in patents and scientific publications. This work aims to fill this gap by presenting a new human rated contextual phrase to phrase matching dataset. The entire dataset contains close to $50,000$ rated phrase pairs, each with a CPC (Cooperative Patent Classification) class as a context. This paper describes the dataset and some baseline models.

研究の動機と目的

• 特許や科学的出版物における技術的コンセプトに焦点を当てたベンチマークデータセットの不足に対処すること。
• 細分化された意味的レーティング（例：類義語、上位語、対義語）と文脈的なCPC分類を備えた高品質で人間がアノテートしたデータセットを作成すること。
• フレーズの意味の吟味、悪意のあるキーワードマッチング、BERTベースのモデルを困難にするハードネガティブ例を含めること。
• 特許固有の言語を対象とした意味的マッチングモデルのトレーニングおよび評価のための公開ベンチマークを提供すること。

提案手法

• データセットは特許コーパスから顕著な名詞句および機能的フレーズを抽出することで構築され、頻度が100件以上（100件以上）の語句にフィルタリングされた。
• 各アンカーフレーズに対して、特許の分類コードから最大4つのCPCクラスをランダムに抽出し、文脈として使用した。
• ターゲットフレーズは2つの方法で生成された：部分一致（共有トークン、異なるフレーズ）と、BERTを用いたマスキング言語モデル化によるマスクされたフレーズの予測。
• 全フレーズは人間のアノテーションの前に前処理（小文字化、句読点・ストップワードの除去）が施された。
• 2名の独立したレーティング担当者が、意味的類似度を5段階の類似度レベルとそのサブカテゴリ（例：下位語、ドメイン関連）で評価した。
• レーティングの不一致はレーティング担当者の議論により解決され、レーティング担当者が生成したフレーズは最終データセットに統合された。

実験結果

リサーチクエスチョン

• RQ1 文脈的ヒントを伴う特許の技術的言語を含む意味的マッチングタスクにおいて、既存の事前学習モデルはどの程度の性能を示すか？
• RQ2 bag-of-wordsモデルや一般向け埋め込みモデルは、同じキーワードを共有するが意味が異なる特許固有のフレーズペアに対して、どの程度失敗するか？
• RQ3 特許固有のデータで微調整されたモデルは、一般向けモデルに比べて、この意味的マッチングタスクで優れた性能を示せるか？
• RQ4 Sentence-BERTのようなデュアルタワーアーキテクチャは、他のアーキテクチャと比較して、この専門的データセットに対してどの程度効果的か？

主な発見

• テストセットで最も優れた性能を示したモデルはSentence-BERT（all-mpnet-base-v2）であり、Spearman相関係数0.577、ピアソン相関係数0.598を達成した。
• 特許データで事前学習されたPatent-BERTは、一般向けBERT-Largeモデル（Spearman係数0.409、ピアソン係数0.418）を上回った。
• 従来のbag-of-wordsモデル（GloVe、FastText、Word2Vec）は低性能であり、ピアソンスコアが0.44未満にとどまり、技術的テキストにおける複雑な意味的マッチングには限界があることが示された。
• 文脈的なCPCコードの導入により、意味の吟味が著しく支援された。例として、同じ文脈で「酸素吸収」（acid absorption）と「逆流」（acid reflux）の区別がモデルが可能になった。
• データセットには973個の固有のアンカーフレーズ、106種類の異なるCPCクラスが含まれており、研究利用のためKaggleで公開されている。
• データセットには、上位語（例：「ガソリンブレンド」→「燃料ブレンド」）、下位語（「faucet assembly」→「水栓」）、ドメイン関連マッチングといった多様な意味的関係が含まれており、細分化された評価が可能である。