[論文レビュー] Improving Automated Patent Claim Parsing: Dataset, System, and Experiments

Mengke Hu, David Cinciruk+1 more|arXiv (Cornell University)|May 5, 2016

Topic Modeling参考文献 19被引用数 9

ひとこと要約

本稿では、市販のNLPツールが誤って動詞と分類した語の品詞（POS）タグを補正することで、自動化された特許出願文書の解析を費用対効果の高い方法で改善する手法を提案する。アマゾン・メカニカル・トゥーカーを用いたクラウドソーシングによるデータセットを活用し、著者らはPOSタグ補正器を訓練した。これにより解析精度が向上し、特許主題分類の誤差率が2.797%にまで低下した。これは、修正されていないNLPツールを用いたベースラインシステムと比べて顕著に低い値である。

ABSTRACT

Off-the-shelf natural language processing software performs poorly when parsing patent claims owing to their use of irregular language relative to the corpora built from news articles and the web typically utilized to train this software. Stopping short of the extensive and expensive process of accumulating a large enough dataset to completely retrain parsers for patent claims, a method of adapting existing natural language processing software towards patent claims via forced part of speech tag correction is proposed. An Amazon Mechanical Turk collection campaign organized to generate a public corpus to train such an improved claim parsing system is discussed, identifying lessons learned during the campaign that can be of use in future NLP dataset collection campaigns with AMT. Experiments utilizing this corpus and other patent claim sets measure the parsing performance improvement garnered via the claim parsing system. Finally, the utility of the improved claim parsing system within other patent processing applications is demonstrated via experiments showing improved automated patent subject classification when the new claim parsing system is utilized to generate the features.

研究の動機と目的

• ニュースやウェブテキストで学習された言語モデルとの不整合により、市販のNLPツールが特許出願文書の解析で著しく性能を発揮しない問題に対処すること。
• 特許出願文書用に新しい言語モデルを訓練するコストと手間を減らすために、誤って特定された動詞のPOSタグに焦点を当てた補正に注力すること。
• 研究利用を目的として、公開可能なクラウドソーシングによる特許出願文書セグメントのPOSタグ補正済みデータセットを構築・公開すること。
• 改善された解析が、特に主題分類を含む下流の特許処理タスクに与える影響を評価すること。
• 補正済みPOSタグからの強化された依存構文解析が、機械学習モデルに優れた特徴を提供することを示すこと。

提案手法

• アマゾン・メカニカル・トゥーカーを用いたクラウドソーシングによるデータ収集を通し、元々誤って動詞と分類された語のPOSタグが手動で修正された特許出願文書セグメントのデータセットを生成する。
• 収集したデータセット上で学習された機械学習ベースのPOSタグ補正器を開発し、特許出願文書内の誤った動詞タグを特定・補正する。
• 補正済みPOSタグをスタンフォードNLPパイプラインに統合し、補正済みタグで再実行することで、正確な解析を強制する。
• 依存構文解析を用いて、出願文書からの構文的特徴を抽出し、修正されていないNLPシステムと改善済みNLPシステムの性能を比較する。
• 単語レベル、トリグラム、依存構文レベルの特徴から導出されたTF-IDF特徴ベクトルを用いて、特許主題分類のためのサポートベクターマシン（SVM）分類器を訓練・評価する。
• 複数の特徴組み合わせにおいて、修正されていないNLPツールと改善済みの出願文書解析システムからの特徴を用いた分類誤差率を体系的に比較する。

実験結果

リサーチクエスチョン

• RQ1 特許出願文書内の誤って特定された動詞のPOSタグを補正することで、言語モデルを再訓練せずにも解析精度を顕著に向上させられるか？
• RQ2 補正済みPOSタグのクラウドソーシングデータセットは、特許出願文書向けに軽量かつ柔軟性のあるNLPシステムを実現するためにどれほど効果的か？
• RQ3 改善された出願文書解析は、主題分類などの下流の特許処理タスクにどの程度の効果をもたらすか？
• RQ4 改善された解析システムから得られる依存構文特徴を用いることで、分類誤差率にどのような定量的影響が生じるか？
• RQ5 改善された依存構文特徴と他の特徴タイプ（例：トリグラム、Bag-of-Words）を組み合わせることで、修正されていないNLPツールを用いた場合と比較して分類性能が向上するか？

主な発見

• 改善された出願文書解析システムにより、依存構文のみを用いた場合、特許主題分類の誤差率が5.974%から4.695%に低下し、顕著な性能向上が確認された。
• 出願文書のトリグラムに、改善された解析システムからの依存構文特徴を追加したところ、誤差率は2.797%に低下した。一方、修正されていないNLPの依存構文特徴を用いた場合の誤差率は3.99%であった。
• 要約のトリグラムと出願文書のトリグラム、および改善されたシステムからの依存構文特徴を組み合わせた場合、誤差率は2.597%にまで低下した。これに対して、修正されていないNLPの依存構文特徴を用いた場合の誤差率は3.696%であった。
• 複数の特徴組み合わせにおいて、改善された解析システムは、修正されていないNLPツールよりもより有用な構文的特徴を一貫して提供しており、誤差率の低さがその証左となった。
• 公開済みのデータセット上で学習されたPOSタグ補正器により、大規模な言語モデルの再訓練を回避しながらも、解析の大幅な改善が達成された。
• 本研究は、動詞のPOS誤分類を補正することが、一般向けNLPツールを特許出願文書の独特な文法に適応させるために、極めて効果的かつ効率的な戦略であることを確認した。