[논문 리뷰] Patent Analytics Based on Feature Vector Space Model: A Case of IoT

Lei Lei, Jiaju Qi외 1명|arXiv (Cornell University)|2019. 04. 17.

Intellectual Property and Patents참고 문헌 26인용 수 5

한 줄 요약

이 논문은 기존의 벡터 공간 모델(VSM)을 대체하기 위해 깊이 학습 기반의 특징 벡터 공간 모델(FVSM)을 제안한다. 이 모델은 특허 텍스트에서 문장 수준의 의미적 특징을 추출하기 위해 합성곱 신경망(CNN)을 사용한다. 이 방법은 특허 유사도, 군집화, 지ap 정확도를 향상시키며, 약 90%의 유사도 검출 정확도를 달성한다. 또한 T-SNE를 통한 더 명확한 시각화를 가능하게 하여, 의미 복잡성과 차원의 저주 문제를 다루는 데 TF-IDF 기반 VSM보다 뛰어난 성능을 발휘한다.

ABSTRACT

The number of approved patents worldwide increases rapidly each year, which requires new patent analytics to efficiently mine the valuable information attached to these patents. Vector space model (VSM) represents documents as high-dimensional vectors, where each dimension corresponds to a unique term. While originally proposed for information retrieval systems, VSM has also seen wide applications in patent analytics, and used as a fundamental tool to map patent documents to structured data. However, VSM method suffers from several limitations when applied to patent analysis tasks, such as loss of sentence-level semantics and curse-of-dimensionality problems. In order to address the above limitations, we propose a patent analytics based on feature vector space model (FVSM), where the FVSM is constructed by mapping patent documents to feature vectors extracted by convolutional neural networks (CNN). The applications of FVSM for three typical patent analysis tasks, i.e., patents similarity comparison, patent clustering, and patent map generation are discussed. A case study using patents related to Internet of Things (IoT) technology is illustrated to demonstrate the performance and effectiveness of FVSM. The proposed FVSM can be adopted by other patent analysis studies to replace VSM, based on which various big data learning tasks can be performed.

연구 동기 및 목표

• 기존의 벡터 공간 모델(VSM)이 특허 분석에서 가지는 한계, 즉 문장 수준의 의미 정보 손실과 차원의 저주 문제를 해결하기 위해.
• 딥 러닝을 활용해 특허 문서의 더 효과적이고 의미적으로 풍부한 표현 방식을 개발하기 위해.
• 기술 예측 및 연구개발(R&D) 기획을 위해 특허 유사도 검출, 군집화, 시각화를 향상시키기 위해.
• 미국 특허상표청(USPTO)의 실질적 IoT 관련 특허 데이터셋을 대상으로 제안된 FVSM의 효과성을 입증하기 위해.

제안 방법

• FVSM은 각 특허가 합성곱 신경망(CNN)의 풀링 레이어에서 추출된 특징 벡터로 표현되는 고차원 특징 공간을 구성한다.
• CNN의 입력은 고립된 키워드가 아니라 전체 특허 문장이며, 이로써 문장 수준의 의미 정보를 효과적으로 포착할 수 있다.
• CNN의 풀링 레이어에 있는 뉴런 수를 조절하여 특징 공간의 차원 수를 민첩하게 제어함으로써 차원의 저주 문제를 완화한다.
• TF-IDF 가중치는 끝에서 끝까지 학습되는 CNN을 통해 얻은 맥락 인식 특징 표현으로 대체된다.
• 고차원 특징 벡터를 2차원 공간에 시각화하기 위해 주성분 분석(PCA)과 T-SNE를 적용하여 특허 지도 생성에 활용한다.
• 학습된 특징 벡터에 K-means 군집화를 적용하여 유사한 특허들을 그룹화하고, T-SNE를 활용해 더 명확한 군집 간 분리 효과를 도출한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 특징 벡터 공간 모델은 기존의 전통적 VSM에 비해 특허 유사도 검출 정확도를 향상시킬 수 있는가?
• RQ2 FVSM은 특허 텍스트 표현에서 문장 수준의 의미를 어느 정도 유지할 수 있는가?
• RQ3 FVSM은 특허 군집화에 있어서 분류 능력을 유지하면서 차원 수를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 FVSM은 기술 지도 분석을 위한 더 명확하고 해석 가능한 특허 지도를 생성할 수 있는가?

주요 결과

• 제안된 FVSM은 약 90%의 특허 유사도 검출 정확도를 달성하여, 의미 관계를 포착하는 데 있어 기존의 TF-IDF 기반 VSM보다 뚜렷이 뛰어난 성능을 보였다.
• FVSM 특징 벡터의 T-SNE 시각화 결과, 잘 분리되고 의미 있는 군집이 형성되어 높은 품질의 표현과 효과적인 군집화를 나타낸다.
• FVSM를 사용해 생성한 특허 지도에서는 음성, 스트리밍 미디어, 이미지 처리 등 관련 기술 분야가 일관된 슈퍼클러스터를 형성하며, IoT 아키텍처 계층(예: 감지, 네트워크 계층)과 일치한다.
• 무선 네트워크 액세스와 같은 겹치는 영역은 다중 영역 관련성을 반영하며, 실제 기술적 교차점을 잘 반영하고 있다.
• FVSM은 CNN의 풀링 레이어에 있는 뉴런 수를 제어하여 차원의 저주 문제를 효과적으로 완화함으로써 확장성 있고 효율적인 분석을 가능하게 했다.
• 이 방법은 트렌드 분석 및 R&D 기획과 같은 대규모 데이터 학습 작업을 지원하는 데 있어 광범위한 도입 잠재력을 보였다.