[論文レビュー] BERT-CNN: a Hierarchical Patent Classifier Based on a Pre-Trained Language Model

Xiaolei Lu, Bin Ni|arXiv (Cornell University)|Nov 3, 2019

Intellectual Property and Patents参考文献 11被引用数 7

ひとこと要約

本稿では、文脈的埋め込みのBERTと畳み込みニューラルネットワーク（CNN）を組み合わせた階層的特許分類モデル、BERT-CNNを提案する。中国国家特許データで訓練された本モデルは、84.3%の正確性を達成し、CNNおよびRNNベースラインを顕著に上回り、意味的表現および特許分類の有効性において最先端の性能を示している。

ABSTRACT

The automatic classification is a process of automatically assigning text documents to predefined categories. An accurate automatic patent classifier is crucial to patent inventors and patent examiners in terms of intellectual property protection, patent management, and patent information retrieval. We present BERT-CNN, a hierarchical patent classifier based on pre-trained language model by training the national patent application documents collected from the State Information Center, China. The experimental results show that BERT-CNN achieves 84.3% accuracy, which is far better than the two compared baseline methods, Convolutional Neural Networks and Recurrent Neural Networks. We didn't apply our model to the third and fourth hierarchical level of the International Patent Classification - "subclass" and "group".The visualization of the Attention Mechanism shows that BERT-CNN obtains new state-of-the-art results in representing vocabularies and semantics. This article demonstrates the practicality and effectiveness of BERT-CNN in the field of automatic patent classification.

研究の動機と目的

• 特許分類の自動化を高精度に実現し、知的財産の管理および検索を改善すること。
• BERTのような事前学習言語モデルを活用して、特許テキスト分類における意味的表現を向上させること。
• 国際特許分類（IPC）構造に特化した階層的分類フレームワークを設計すること。
• 注目メカニズムが特許特許の関連特徴を効果的に捉えられるかを評価すること。
• 深層学習モデルが実世界の特許分類タスクにおいて実用的であることを実証すること。

提案手法

• 国家情報センターから収集した大規模な中国語国家特許データセット上でBERTを微調整する。
• 1次元畳み込みニューラルネットワーク（CNN）を用いて、BERT埋め込みシーケンスから局所的テキスト特徴を抽出する。
• 特許文書をIPC分類の第1段階および第2段階で処理する階層的分類アーキテクチャを実装する。
• 特許の特許条項における意味的に重要な語句やフレーズを強調するために注目メカニズムを適用する。
• 交差エントロピー損失とAdam最適化を用いて、エンドツーエンドのモデルを訓練する。
• 注目重みを可視化して、モデルの意思決定を解釈し、意味的表現の質を検証する。

実験結果

リサーチクエスチョン

• RQ1 単体のCNNおよびRNNモデルと比較して、BERT-CNNハイブリッドモデルは特許分類において優れた性能を達成できるか？
• RQ2 注目メカニズムは特許テキストにおける関連する意味的特徴を効果的に捉えられるか？
• RQ3 事前学習言語表現とCNNを組み合わせることで、階層的特許データにおける分類精度が向上するか？
• RQ4 モデルはIPC階層の第1段階および第2段階にどの程度一般化できるか？
• RQ5 モデルの注目パターンは、特許文書における意味的関連性を意味的に解釈できるか？

主な発見

• BERT-CNNは、IPCの第1段階および第2段階で84.3%の分類正確性を達成し、CNNおよびRNNベースラインを顕著に上回った。
• 本モデルは、特許テキストにおける意味的および語彙的特徴を表現する分野で最先端の性能を示した。
• 注目可視化により、モデルがキーテクニカル用語や特許条項の要素に注目していることが確認され、解釈可能性が向上した。
• 階層的設計により、IPC分類システム内の構造的関係を効果的に捉えることができた。
• 本モデルは第3段階および第4段階（小分類およびグループ）には拡張されておらず、分類範囲が上位レベルに限定されている。
• 結果から、BERT-CNNが実世界の特許情報検索および管理における実用性と有効性を裏付けた。