[論文レビュー] Patent Analytics Based on Feature Vector Space Model: A Case of IoT

Lei Lei, Jiaju Qi+1 more|arXiv (Cornell University)|Apr 17, 2019

Intellectual Property and Patents参考文献 26被引用数 5

ひとこと要約

本論文は、特許分析における従来のベクトル空間モデル（VSM）に代わる、深層学習に基づく特徴ベクタースペースモデル（FVSM）を提案する。この手法は、畳み込みニューラルネットワーク（CNN）を用いて特許文書から文レベルの意味的特徴を抽出する。この方法により特許類似度、クラスタリング、マッピングの正確性が向上し、類似度検出の正確性が約90％に達する。また、T-SNEを用いた可視化により、より明確な視覚的表現が可能となり、文脈の複雑さや次元の呪いに対処する点で、TF-IDFに基づくVSMを上回る。

ABSTRACT

The number of approved patents worldwide increases rapidly each year, which requires new patent analytics to efficiently mine the valuable information attached to these patents. Vector space model (VSM) represents documents as high-dimensional vectors, where each dimension corresponds to a unique term. While originally proposed for information retrieval systems, VSM has also seen wide applications in patent analytics, and used as a fundamental tool to map patent documents to structured data. However, VSM method suffers from several limitations when applied to patent analysis tasks, such as loss of sentence-level semantics and curse-of-dimensionality problems. In order to address the above limitations, we propose a patent analytics based on feature vector space model (FVSM), where the FVSM is constructed by mapping patent documents to feature vectors extracted by convolutional neural networks (CNN). The applications of FVSM for three typical patent analysis tasks, i.e., patents similarity comparison, patent clustering, and patent map generation are discussed. A case study using patents related to Internet of Things (IoT) technology is illustrated to demonstrate the performance and effectiveness of FVSM. The proposed FVSM can be adopted by other patent analysis studies to replace VSM, based on which various big data learning tasks can be performed.

研究の動機と目的

• 従来のベクトル空間モデル（VSM）が特許分析において抱える課題、すなわち文レベルの意味的特徴の損失と次元の呪いを是正すること。
• 深層学習を用いて、特許文書のより効果的で意味的に豊かな表現を構築すること。
• 特許類似度検出、クラスタリング、可視化の向上を通じて、技術予測と研究開発計画を支援すること。
• 提案されたFVSMが、米国特許商標局（USPTO）の実際のIoT関連特許データセット上で有効であることを示すこと。

提案手法

• FVSMは、各特許が畳み込みニューラルネットワーク（CNN）のプーリング層から抽出された特徴ベクトルによって表現される高次元の特徴空間を構築する。
• CNNへの入力は、孤立したキーワードではなく、完全な特許文であるため、文レベルの意味的特徴を捉えることができる。
• CNNのプーリング層のニューロン数を調整することで、特徴空間の次元数を柔軟に制御でき、次元の呪いを緩和できる。
• TF-IDF重み付けは、CNNのエンドツーエンド学習により得られる文脈に適した特徴表現に置き換えられる。
• 次元削減手法（PCAおよびT-SNE）を用いて、高次元の特徴ベクトルを2次元空間に可視化し、特許マップの生成を実現する。
• 学習済みの特徴ベクトルに対してK-meansクラスタリングを適用し、類似した特許をグループ化する。その結果は、より明確なクラスタ分離を実現するT-SNEを用いて可視化される。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づく特徴ベクタースペースモデルは、従来のVSMと比較して、特許類似度検出の正確性を向上させることができるか？
• RQ2 FVSMは、特許文書表現において文レベルの意味的特徴をどの程度保持できるか？
• RQ3 FVSMは、特許クラスタリングの識別力を維持しつつ、次元削減をどの程度効果的に行えるか？
• RQ4 FVSMは、技術的ランドスケープ分析のための明確で解釈可能な特許マップを生成できるか？

主な発見

• 提案されたFVSMは、類似度検出の正確性が約90％に達し、意味的関係を捉える点で、従来のTF-IDFベースのVSMを顕著に上回っている。
• FVSM特徴ベクトルのT-SNE可視化により、明確に分離され、意味のあるクラスタが得られ、高品質な表現と効果的なクラスタリングを示している。
• FVSMを用いて生成された特許マップでは、音声、ストリーミングメディア、画像処理といった関連分野が、一貫性のあるスーパoclusterを形成しており、IoTアーキテクチャのレイヤー（例：センシング層、ネットワーク層）と整合している。
• 無線ネットワークアクセスなどの重複領域は、マルチドメインの関連性を示しており、現実の技術的交差を反映している。
• FVSMは、CNNのプーリング層のニューロン数を制御することで、次元の呪いを効果的に緩和しており、スケーラブルかつ効率的な分析を可能としている。
• 本手法は、トレンド分析や研究開発計画などのビッグデータ学習タスクへの広範な応用の可能性を示しており、高い実用的ポテンシャルを有している。