[論文レビュー] PatentGPT: A Large Language Model for Intellectual Property

Zilong Bai, Ruiji Zhang+25 more|arXiv (Cornell University)|Apr 28, 2024

Intellectual Property and PatentsBusiness, Management and Accounting被引用数 3

ひとこと要約

この論文では、標準化されたトレーニング手順を用いて2400億トークンの知的財産データで微調整されたドメイン特化型大規模言語モデル、PatentGPTを紹介する。PatentGPTは2019年中国特許弁理士資格試験でGPT-4を上回り（得点65）、特に長文処理タスクにおけるMoEアーキテクチャのおかげで、コスト効率に優れた同等の性能を達成している。

ABSTRACT

In recent years, large language models(LLMs) have attracted significant attention due to their exceptional performance across a multitude of natural language process tasks, and have been widely applied in various fields. However, the application of large language models in the Intellectual Property (IP) domain is challenging due to the strong need for specialized knowledge, privacy protection, processing of extremely long text in this field. In this technical report, we present for the first time a low-cost, standardized procedure for training IP-oriented LLMs, meeting the unique requirements of the IP domain. Using this standard process, we have trained the PatentGPT series models based on open-source pretrained models. By evaluating them on the open-source IP-oriented benchmark MOZIP, our domain-specific LLMs outperforms GPT-4, indicating the effectiveness of the proposed training procedure and the expertise of the PatentGPT models in the IP domain. Remarkably, our model surpassed GPT-4 on the 2019 China Patent Agent Qualification Examination, scoring 65 and matching human expert levels. Additionally, the PatentGPT model, which utilizes the SMoE architecture, achieves performance comparable to that of GPT-4 in the IP domain and demonstrates a better cost-performance ratio on long-text tasks, potentially serving as an alternative to GPT-4 within the IP domain.

研究の動機と目的

• 知的財産（IP）分野におけるドメイン特化型大規模言語モデルの低コストで標準化されたトレーニング手順の開発。
• 特許文書の処理に特化した知識、プライバシー制約、極めて長い特許文書の処理といったIPアプリケーションの独自の課題に対処すること。
• 一般向けモデル（GPT-4など）を上回るドメイン固有のベンチマークで性能を示す、IP最適化されたLLMのトレーニングと評価。
• スパース混合エキスパート（SMoE）アーキテクチャが、長文処理タスクにおけるパフォーマンスを損なわず、推論効率を向上させることの有効性を実証すること。
• 実際のIP利用事例に特化した包括的ベンチマーク、PatentBenchの構築。

提案手法

• 特許、ファイルラッパー、技術文書を含む、精選されたIPデータ2400億トークンを用いて、オープンソースのLLaMAベースモデル（LLaMA2 13B、70BおよびMixtral 8×7B）を微調整。
• データ前処理、継続的事前学習、インstructチューニング、ドメイン固有ベンチマークでの評価を含む標準化されたトレーニングパイプラインを適用。
• 4ビット量子化とText-Generation-Inference (TGI) 1.4を用いて、A100 GPU上での推論効率とリソース消費量を測定。
• 長文シーケンス処理におけるメモリ使用量の削減と推論速度の向上を目的として、スパース混合エキスパートを活用したPatentGPT-1.0-MoEモデルを設計。
• MOZIPベンチマークおよび2019年中国特許弁理士資格試験を用いて、ドメインパフォーマンスを評価。
• KVキャッシュメモリ消費量の削減を目的としてSMoEアーキテクチャを採用し、FTO分析における長文文書比較タスクのスケーラビリティを向上。

Figure 1: The distribution of different categories of pretraining data for PatentGPT models.

実験結果

リサーチクエスチョン

• RQ1 標準化された低コストトレーニング手順により、一般向けモデル（GPT-4など）を上回るドメイン特化型LLMを知的財産分野で開発できるか？
• RQ2 長文処理IPタスクにおいて、MoEベースのモデルは密度型モデルと比較して、精度と推論効率の両面でどのように差がつくか？
• RQ3 微調整された小型モデルは、GPT-4などの大規模モデルと同等のパフォーマンスを、特化したIPタスクで達成できるか、その程度はどの程度か？
• RQ4 長文特許文書を処理する際、モデルアーキテクチャ（密度型対MoE）がGPUメモリ使用量と応答遅延に与える影響は何か？
• RQ5 PatentBenchのようなカスタムベンチマークは、実際のIP応用におけるLLMの信頼性ある包括的評価を可能にするか？

主な発見

• PatentGPT-1.0-Dense（70Bパラメータ）は2019年中国特許弁理士資格試験でGPT-4を上回り、得点65を達成し、人間の専門家レベルに相当する。
• PatentGPTモデルは、オープンソースのMOZIPベンチマークでGPT-4およびChatGPT-3.5-turboを上回り、IP固有の自然言語処理タスクにおける優れたパフォーマンスを示した。
• PatentGPT-1.0-MoEはGPT-4と同等のパフォーマンスを達成した一方で、GPUメモリ使用量を著しく削減し、特に長文シーケンス処理において応答遅延が低かった。
• MoEアーキテクチャにより、入力シーケンスが長くなるに従ってGPUメモリ使用量の増加が抑えられ、特許文書比較などの長文処理アプリケーションにおいてより効率的になった。
• PatentGPT-1.0-MoEは密度型モデルよりも優れたコストパフォーマンス比を示しており、IPワークロードにおけるGPT-4のスケーラブルな代替手段としての可能性を示唆している。
• PatentBenchは、法的推論、文書作成、先行技術分析を含む、実際のIP利用事例に特化した包括的評価スイートとして確立された。

Figure 2: The proportion of different types of data used in each pretraining stage compared to the total amount of the corresponding type of pretraining data.