[論文レビュー] Large Language Models for Patent Classification: Strengths, Trade-offs, and the Long Tail Effect

Lorenzo Emer, Marco Lippi+2 more|arXiv (Cornell University)|Jan 30, 2026

Intellectual Property and Patents被引用数 0

ひとこと要約

要約: 本論文は CPC 特許分類において encoder ベースの分類器とオープンウェイト LLM を比較し、精度・効率・長尾カバレッジの点で補完的な強みとトレードオフを強調する。

ABSTRACT

Patent classification into CPC codes underpins large scale analyses of technological change but remains challenging due to its hierarchical, multi label, and highly imbalanced structure. While pre Generative AI supervised encoder based models became the de facto standard for large scale patent classification, recent advances in large language models (LLMs) raise questions about whether they can provide complementary capabilities, particularly for rare or weakly represented technological categories. In this work, we perform a systematic comparison of encoder based classifiers (BERT, SciBERT, and PatentSBERTa) and open weight LLMs on a highly imbalanced benchmark dataset (USPTO 70k). We evaluate LLMs under zero shot, few shot, and retrieval augmented prompting, and further assess parameter efficient fine tuning of the best performing model. Our results show that encoder based models achieve higher aggregate performance, driven by strong results on frequent CPC subclasses, but struggle on rare ones. In contrast, LLMs achieve relatively higher performance on infrequent subclasses, often associated with early stage, cross domain, or weakly institutionalised technologies, particularly at higher hierarchical levels. These findings indicate that encoder based and LLM based approaches play complementary roles in patent classification. We additionally quantify inference time and energy consumption, showing that encoder based models are up to three orders of magnitude more efficient than LLMs. Overall, our results inform responsible patentometrics and technology mapping, and motivate hybrid classification approaches that combine encoder efficiency with the long tail coverage of LLMs under computational and environmental constraints.

研究の動機と目的

• 大規模・階層的・不均衡なラベル空間に対する自動 CPC 特許分類を動機づける。
• 珍しいまたは弱く表現された CPC サブクラスに対して LLM が encoder ベースモデルを補完できるかを評価する。
• エンコーダーと LLM アプローチの推論効率と環境影響を評価する。
• 精度・スケーラビリティ・持続可能性のバランスをとる潜在的なハイブリッド戦略を調査する。
• 一般化性を検証するために独立した特許データセット（外部データ）で外部検証を提供する。

提案手法

• supervised encoder ベースライン（BERT、SciBERT、PatentSBERTa）とオープンウェイト LLM を USPTO-70k CPC 分類タスクで比較する。
• LLM のゼロショット・ Few-shot・ retrieval-augmented prompting を評価する。
• 最も高性能な LLM 設定に対してパラメータ効率の良い LoRA ファインチューニングを適用する。
• CodeCarbon を用いてエネルギー使用量と CO2 排出を定量化し、持続可能性のトレードオフを分析する。
• ラベル階層ごとにブートストラップ信頼区間と統計的検定を用いた階層別およびマクロ/ミクロ平均指標を評価する。

Figure 1 : Experimental pipeline used to evaluate supervised encoder models and instruction-tuned LLMs on hierarchical, multi-label CPC classification. Approximately 70 000 USPTO patents are preprocessed and split chronologically into training (2006–2017), validation (2018), and test (2019) sets. En

実験結果

リサーチクエスチョン

• RQ1 エンコーダーベースのモデルは頻繁な CPC サブクラスで LLM と比較してどの程度良好な性能を示すか？
• RQ2 特に珍しいまたは新興カテゴリーで、LLM は CPC 階層全体でよりバランスの取れたカバレッジを提供するか？
• RQ3 大規模なスケールで LLM とエンコーダーモデルを使用する際の効率とエネルギーの影響は？
• RQ4 両者の長所を活かすハイブリッドアプローチは堅牢な特許分類に役立つか？
• RQ5 retrain せず外部データセット（例：EPO 特許）で Findings は generalize 可能か？

主な発見

• エンコーダーベースのモデルは、頻繁な CPC サブクラスに牽引されて全体の性能が高い。
• LLM は稀なサブクラスや階層の上位レベルで相対的に強い性能を示す。
• LLM はエンコーダーモデルと比較して計算コストとエネルギーコストが substantially 高い。
• 単一のアプローチが優位にはならず、エンコーダーは効率性とスケーラビリティで優れ、LLM は長尾カバレッジに補完的な役割を提供する。
• Domain-adapted encoders（例：SciBERT）は汎用エンコーダより優れており、retrieval-augmented prompting は珍しいクラスの LLM のリコールを向上させる。
• エンコーダの効率と LLM の長尾機能を組み合わせたハイブリッドワークフローは、実用的なリソース制約のもとで動機づけられる。

(a) Frequency of CPC subclasses in the training set, ordered by decreasing frequency.