[論文レビュー] Towards Accurate Word Segmentation for Chinese Patents

Si Li, Nianwen Xue|arXiv (Cornell University)|Nov 30, 2016

Natural Language Processing Techniques参考文献 32被引用数 3

ひとこと要約

本稿では、142件の特許の手動で分類されたコーパスと中国ツリー・バンクから得た強化された特徴を活用して、特許文書における正確な中国語語断片化を実現する文字ベースの半教師付き系列ラベル付けモデルを提案する。モデルは保留テストセットでF1スコア95.08%、開発セットで96.59%を達成し、中国ツリー・バンクのような一般ドメインデータにのみ訓練されたモデルと比較して顕著に優れた性能を示した。

ABSTRACT

A patent is a property right for an invention granted by the government to the inventor. An invention is a solution to a specific technological problem. So patents often have a high concentration of scientific and technical terms that are rare in everyday language. The Chinese word segmentation model trained on currently available everyday language data sets performs poorly because it cannot effectively recognize these scientific and technical terms. In this paper we describe a pragmatic approach to Chinese word segmentation on patents where we train a character-based semi-supervised sequence labeling model by extracting features from a manually segmented corpus of 142 patents, enhanced with information extracted from the Chinese TreeBank. Experiments show that the accuracy of our model reached 95.08% (F1 score) on a held-out test set and 96.59% on development set, compared with an F1 score of 91.48% on development set if the model is trained on the Chinese TreeBank. We also experimented with some existing domain adaptation techniques, the results show that the amount of target domain data and the selected features impact the performance of the domain adaptation techniques.

研究の動機と目的

• 一般ドメインの学習データに依存する既存の中国語語断片化モデルが特許文書に対して性能を発揮できないという問題に対処すること。
• 中国特許に多く見られる科学的・技術的用語の断片化精度を向上させること。
• 限られた手動アノテーション済み特許データと外部言語資源を組み合わせた実用的でデータ効率の良いアプローチを開発すること。
• 低リソースな特許断片化状況におけるドメイン適応技術の有効性を評価すること。
• ドメイン固有の語断片化におけるモデル性能に影響を与える主要な特徴とデータ量の閾値を特定すること。

提案手法

• 142件の中国特許の手動分類コーパスを用いて、文字ベースの半教師付き系列ラベル付けモデルを訓練する。
• 中国ツリー・バンクから抽出した特徴をモデルに統合し、希少語や技術用語の認識を向上させる。
• 未ラベルの特許テキストを活用してモデルの汎化性能を向上させるため、半教師付き学習技術を適用する。
• 語境界の構造的予測のため、条件付きランダムフィールド（CRF）を系列ラベル付けフレームワークとして使用する。
• 品詞タグや語彙的パターンなどのドメイン固有の言語特徴を特定・統合する。
• 標準的なF1スコア指標を用いて、保留テストセットおよび開発セットによるモデル性能の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータにのみ依存する小規模な手動分類特許コーパスで学習された文字ベースのモデルが、ラベル付きデータが限られているにもかかわらず高い断片化精度を達成できるか？
• RQ2 中国ツリー・バンクからの特徴が、特許文書における技術用語の認識にどの程度向上効果をもたらすか？
• RQ3 ターゲットドメイン（特許）の学習データ量が、ドメイン適応技術の性能にどの程度影響を及ぼすか？
• RQ4 どの具体的な特徴が特許固有の用語断片化性能の向上に最も寄与するか？
• RQ5 本稿で提案するモデルは、中国ツリー・バンクのような一般ドメインコーパスにのみ訓練されたベースラインモデルと比較して、どのように優れているか？

主な発見

• 提案モデルは保留テストセットでF1スコア95.08%を達成し、中国特許の語断片化において高い正確性を示した。
• 開発セットではF1スコア96.59%を達成し、中国ツリー・バンクにのみ訓練されたモデル（F1スコア91.48%）と比較して顕著に優れた性能を示した。
• 中国ツリー・バンクからの特徴の統合により、モデルの希少語および技術用語の認識能力が顕著に向上した。
• ドメイン適応技術は、ターゲットドメインデータが十分に確保されている場合にのみ強力な性能を発揮し、データ量が重要な要因であることが示された。
• 特徴選択はモデル性能に顕著な影響を及ぼし、特定の言語特徴が他の特徴よりも正確性向上に寄与した。
• 半教師付きアプローチは、特にリソースが限られた状況下でも、未ラベルの特許テキストを活用することで汎化性能を効果的に向上させた。