[논문 리뷰] PatentGPT: A Large Language Model for Intellectual Property

Zilong Bai, Ruiji Zhang외 25명|arXiv (Cornell University)|2024. 04. 28.

Intellectual Property and PatentsBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 표준화된 훈련 절차를 사용해 지적재산권 데이터 2400억 토큰으로 미세조정한 도메인 특화 대규모 언어 모델인 PatentGPT를 소개한다. 이 모델은 2019년 중국 지적재산권 전문가 자격시험에서 GPT-4를 능가하며 65점의 점수를 기록했고, 특히 장문의 컨텍스트 작업에서 MoE 아키텍처를 통해 더 뛰어난 비용 효율성을 보였다.

ABSTRACT

In recent years, large language models(LLMs) have attracted significant attention due to their exceptional performance across a multitude of natural language process tasks, and have been widely applied in various fields. However, the application of large language models in the Intellectual Property (IP) domain is challenging due to the strong need for specialized knowledge, privacy protection, processing of extremely long text in this field. In this technical report, we present for the first time a low-cost, standardized procedure for training IP-oriented LLMs, meeting the unique requirements of the IP domain. Using this standard process, we have trained the PatentGPT series models based on open-source pretrained models. By evaluating them on the open-source IP-oriented benchmark MOZIP, our domain-specific LLMs outperforms GPT-4, indicating the effectiveness of the proposed training procedure and the expertise of the PatentGPT models in the IP domain. Remarkably, our model surpassed GPT-4 on the 2019 China Patent Agent Qualification Examination, scoring 65 and matching human expert levels. Additionally, the PatentGPT model, which utilizes the SMoE architecture, achieves performance comparable to that of GPT-4 in the IP domain and demonstrates a better cost-performance ratio on long-text tasks, potentially serving as an alternative to GPT-4 within the IP domain.

연구 동기 및 목표

• 지적재산권(IP) 도메인에서 도메인 특화 대규모 언어 모델을 위한 저비용, 표준화된 훈련 절차 개발.
• 특수 지식, 개인정보 보호 제약, 초장문의 특허 문서 처리와 같은 지적재산권 응용의 고유한 과제 해결.
• 일반 목적 모델인 GPT-4보다 도메인 특화 벤치마크에서 뛰어난 성능을 보이는 IP 최적화 LLM의 훈련 및 평가.
• 희소 전문가 혼합(SMoE) 아키텍처가 장문의 컨텍스트 IP 작업에서 성능을 훼손하지 않으면서 추론 효율성을 향상시키는지 입증.
• 실제 지적재산권 응용 사례에 적합한 종합적인 벤치마크인 PatentBench 수립.

제안 방법

• 특허, 파일 워커, 기술 문서를 포함한 정제된 IP 데이터 2400억 토큰으로 LLaMA 기반 모델(LLaMA2 13B, 70B 및 Mixtral 8×7B)을 미세조정.
• 데이터 전처리, 지속적 사전 훈련, 지시 훈련, 도메인 특화 벤치마크에서의 평가를 포함한 표준화된 훈련 파이pline 적용.
• 4비트 정밀도 양자화 및 Text-Generation-Inference (TGI) 1.4를 활용해 A100 GPU에서 추론 효율성과 자원 소비 측정.
• 장문의 시퀀스에서 메모리 사용을 줄이고 추론 속도를 향상시키기 위해 희소 전문가 혼합을 활용해 PatentGPT-1.0-MoE 모델 설계.
• 도메인 성능 평가를 위해 MOZIP 벤치마크와 2019년 중국 지적재산권 전문가 자격시험에서 모델 평가.
• KV 캐시 메모리 소비를 줄여 장문 문서 비교 작업에 대한 확장성을 향상시키기 위해 SMoE 아키텍처 활용.

Figure 1: The distribution of different categories of pretraining data for PatentGPT models.

실험 결과

연구 질문

• RQ1 표준화되고 저비용인 훈련 절차로 GPT-4와 같은 일반 목적 모델을 초월하는 지적재산권 도메인의 전용 LLM을 개발할 수 있는가?
• RQ2 장문의 컨텍스트 IP 작업에서 MoE 기반 모델의 정확도 및 추론 효율성은 밀도 모델과 비교해 어떻게 다른가?
• RQ3 미세조정된 소형 모델이 특수 지적재산권 작업에서 GPT-4와 같은 대규모 모델과 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ4 장문의 특허 문서를 처리할 때 모델 아키텍처(밀도 대 MoE)가 GPU 메모리 사용량과 응답 지연에 미치는 영향은 무엇인가?
• RQ5 PatentBench와 같은 맞춤형 벤치마크가 실제 지적재산권 응용에서 LLM의 신뢰성 있고 종합적인 평가를 가능하게 하는가?

주요 결과

• PatentGPT-1.0-Dense(70B 파라미터)는 2019년 중국 지적재산권 전문가 자격시험에서 GPT-4를 능가해 65점의 점수를 기록했으며, 인간 전문가 수준에 도달했다.
• PatentGPT 모델은 개방형 MOZIP 벤치마크에서 GPT-4와 ChatGPT-3.5-turbo를 모두 능가해 지적재산권 특화 자연어 처리 작업에서 뛰어난 성능을 입증했다.
• PatentGPT-1.0-MoE는 GPT-4와 유사한 성능을 달성했지만, GPU 메모리 사용량이 현저히 줄었고, 특히 장문의 입력 시퀀스에서 더 낮은 응답 지연을 보였다.
• MoE 아키텍처는 입력 시퀀스가 길어질수록 GPU 메모리 사용 증가율을 줄여, 특허 비교와 같은 장문의 컨텍스트 응용에서 더 효율적인 성능을 제공했다.
• PatentGPT-1.0-MoE는 밀도 모델 대비 더 뛰어난 비용-성능 비율을 보였으며, 지적재산권 워크로드에서 GPT-4의 확장 가능한 대안으로서의 잠재력을 보였다.
• PatentBench는 실제 지적재산권 응용 사례에 맞게 맞춤화된 종합적인 평가 세트로 수립되었으며, 법적 추론, 문서 작성, 기존기술 분석을 포함한다.

Figure 2: The proportion of different types of data used in each pretraining stage compared to the total amount of the corresponding type of pretraining data.