[論文レビュー] Classifying Patent Applications with Ensemble Methods

Fernando Benites, Shervin Malmasi+1 more|arXiv (Cornell University)|Nov 12, 2018

Biomedical Text Mining and Ontologies参考文献 23被引用数 4

ひとこと要約

本論文では、オーストラリア特許出願をIPC分類の8つの粗い分類に分類するためのアンサンブルSVMベースのシステムを提示する。WIPO-alphaおよびWIPO-en gammaから得た大規模な訓練データを用い、語と文字レベルのTF-IDF特徴量を組み合わせることで、ALTA 2018共有タスクにおいて14チーム中1位を獲得し、0.778のマイクロ平均F1スコアを達成した。

ABSTRACT

We present methods for the automatic classification of patent applications using an annotated dataset provided by the organizers of the ALTA 2018 shared task - Classifying Patent Applications. The goal of the task is to use computational methods to categorize patent applications according to a coarse-grained taxonomy of eight classes based on the International Patent Classification (IPC). We tested a variety of approaches for this task and the best results, 0.778 micro-averaged F1-Score, were achieved by SVM ensembles using a combination of words and characters as features. Our team, BMZ, was ranked first among 14 teams in the competition.

研究の動機と目的

• 特許出願を8つの主要なIPCクラスに自動分類するシステムを開発すること。
• WIPOリポジトリから得た大規模でドメイン外の訓練データを用いて分類性能を向上させること。
• 低リソースな特許テキスト分類において、アンサンブル学習および準教師あり手法の有効性を検証すること。
• 一般化性能を向上させるために、語と文字n-gramを組み合わせたハイブリッド特徴工学を評価すること。
• 特許出願分類のALTA 2018共有タスクで最先端のパフォーマンスを達成すること。

提案手法

• 語n-gram（1–2）および文字n-gram（3–6）のTF-IDFスコアを組み合わせたハイブリッド特徴セットを採用した。
• 特徴量はALTA 2018データセットに加え、WIPO-alphaから46,319件の訓練文書および28,924件のテスト文書、WIPO-en gammaから100,000件のサンプルを追加して抽出した。
• 線形サポートベクターマシン（SVM）をベース分類器として採用し、モデルアンサンブルにより頑健性を向上させ、過学習を低減した。
• 準教師ありの微調整ステップを適用し、未ラベルのテストデータに対して高信頼度の予測結果を訓練セットに追加した。
• テキスト前処理では、空白の正規化および数字と大文字小文字の区別の除去により、ドキュメントを1つのブロックに統合した。
• 過学習を防ぐために、訓練中に10分割交差検証を用いた。

実験結果

リサーチクエスチョン

• RQ1 SVMを用いたアンサンブル学習は、単一モデルベースラインと比較して特許出願分類の性能を向上させることができるか？
• RQ2 WIPOリポジトリから得た大規模でドメイン外の特許データを統合することで、分類精度がどの程度向上するか？
• RQ3 語と文字レベルのn-gram特徴量の組み合わせは、特許固有の言語的パターンをどの程度効果的に捉えられるか？
• RQ4 ラベル付きデータが限られる状況で、高信頼度の疑似ラベルを用いた準教師あり学習は、性能向上にどの程度効果的か？
• RQ5 ハイブリッド特徴工学は、従来の語のみのアプローチと比較して、特許テキスト分類において優れた性能を発揮できるか？

主な発見

• 語と文字レベルの両方の特徴量を用いたアンサンブルモデルが、プライベートテストセットで0.778のマイクロ平均F1スコアを達成し、最高のパフォーマンスを示した。
• WIPO-alphaおよびWIPO-en gammaデータの追加により性能が顕著に向上し、WIPO-alphaを用いたベースラインのF1スコア0.744から、最終システムでは0.778に上昇した。
• 準教師ありアプローチはわずかに性能を低下させ、プライベートテストセットでF1スコア0.704を記録した。これは、この設定では限定的な利益にとどまったことを示している。
• 最良のパフォーマンスを発揮したシステムは、ALTA 2018共有タスクで14チーム中1位を達成し、他のすべての提出物を上回った。
• アンサンブル学習の活用により、過学習が抑制され、多様な特許テキストに対して一般化性能が向上した。
• 語と文字n-gramのハイブリッド特徴セットは、語のみの特徴量よりも効果的であり、特に大規模データと組み合わせた場合に顕著な優位性を示した。