[논문 리뷰] Innovation with and without patents

Josef Taalbi|arXiv (Cornell University)|2022. 10. 08.

Innovation Policy and R&D인용 수 5

한 줄 요약

이 연구는 1970~2015년도 스웨덴의 4,460개의 상용화된 혁신과 13,561개의 특허를 연결한 매칭 데이터셋을 활용하여 특허 발명과 실제 상용 혁신 간의 겹침을 분석한다. 특허 데이터가 혁신 정보의 17%만 포착하고 있으며, 이는 83%의 정보 손실을 의미한다. 이는 특허에만 의존하여 혁신을 모니터링할 경우의 한계를 드러내며, 품질 조정이 이루어진다고 해도 여전히 정보 손실이 크다는 점을 시사한다.

ABSTRACT

A long-standing discussion is to what extent patents can be used to monitor trends in innovation activity. This study quantifies the amount and quality of information about actual innovation contained in the patent system, based on 4,460 Swedish innovations (1970-2015) that have been matched to international patents. The results show that most innovations were not patented and that among those that were, 43.9% of all innovations, only a fraction can be identified with patent quality data. The best-performing models identify 17% of all information about innovations, equivalent to an information loss of at least 83%. Econometric tests also show that the fraction of innovations responding to strengthened patent laws during the period were on average 8% percent. The overlap between the patent and innovation systems is hence more modest than often assumed. This accentuates the need to, alongside patents, develop versatile approaches in order to induce and monitor various aspects of innovation.

연구 동기 및 목표

• 특허 제도가 실제 상용화된 혁신을 어느 정도 포착하는지 정량화하여 혁신 측정 분야의 핵심적 격차를 해소한다.
• 특히 전략적 또는 비상업적 성격을 띤 많은 특허들 때문에 특허를 혁신 활동의 대체 지표로 사용할 경우 발생하는 정보 손실을 평가한다.
• 특허 품질 지표(예: 인용 수 등)가 특허 제도 내 진정된 혁신을 식별하는 데 얼마나 효과적인지 평가한다.
• 특히 정책 및 경제 분 析에서 특허가 혁신 추세를 신뢰할 수 있게 반영한다는 가정을 도전한다.
• 특허 기반 지표 외에 보완적이고 다중 출처 기반의 혁신 모니터링 접근 방식을 권장한다.

제안 방법

• Google 특허에서 수작업 및 기계학습 보조 검색을 통해 LBIO 데이터베이스의 4,460개 상용화 혁신과 13,561개의 국제 특허를 매칭한 데이터셋을 구축하였다.
• 혁신-특허 연결을 정보 전송 문제로 프레임워크화하기 위해 노이즈 채널 모델을 적용하였으며, 주요 요소로 특허 제출 경향(ρ), 재현율(α), 정밀도(β)를 설정하여 정보 포착도를 ρ × α × β로 산정하였다.
• 세 차례의 반복 라운드를 거쳐 랜덤 포레스트와 다층 퍼셉트론 기반 기계학습 모델을 활용해 혁신-특허 매칭을 예측하고, 특징을 점진적으로 개선하였다.
• 혁신 기록에서 특허 제목, 초록, 기술서의 텍스트 특징(예: 키워드 수, 비율, 벡터화)과 명칭 엔티티 특징(발명자, 연락처)을 통합하였다.
• 정확도, F1 점수, 오류 비율(거짓 양성 및 음성)을 사용하여 모델 성능을 校정하였으며, 수작업으로 검증된 쌍을 기반으로 검증하였다.
• 특허 특징(예: 독창성, 근본성, 인용 수 등)에 대해 주성분 분석을 수행하여 고영향력 특허에서 나타나는 구조적 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 1970~2015년 스웨덴에서 실제 상용화된 혁신 중 특허 제도에 의해 포착된 비율은 얼마인가?
• RQ2 특허 품질 지표(예: 인용 수, 독창성 등)는 특허 데이터 내 진정된 혁신을 식별하는 데 어느 정도 향상되는가?
• RQ3 혁신 시스템과 특허 시스템 간의 겹침은 분야, 시간대, 특허청에 따라 어떻게 다를까?
• RQ4 특허를 혁신의 대체 지표로 사용할 경우 발생하는 정보 손실은 얼마이며, 다양한 품질 조정 기반 선택 방법에 따라 어떻게 변화하는가?
• RQ5 기계학습 모델은 진정된 혁신-특허 연결을 식별하는 데 얼마나 효과적인가? 어떤 특징이 그 예측 성능을 주도하는가?

주요 결과

• 모든 상용화 혁신에 대한 정보 중 특허 제도가 포착하는 비율은 17%에 불과하여 최소한 83%의 정보 손실이 발생함을 시사한다.
• 모든 혁신 중 43.9%는 특허로 출원되었지만, 이들 특허 중 품질 데이터(예: 인용 수 등)를 포함한 비율은 낮아 혁신 모니터링에 대한 유용성이 제한됨.
• 가장 높은 성능을 보인 기계학습 모델은 F1 점수 0.795를 기록하며 11,694개의 잠재적 혁신-특허 매칭을 식별했지만, 여전히 진정된 연결의 상당 부분을 놓침.
• 특허 제출 경향(특허로 출원된 혁신 비율)은 미국과 EPO에서 가장 높았으며, 1990–2000년대에 peak를 보였지만, 모든 분야에서 50% 이하로 유지됨.
• 혁신과 연결된 특허는 연결되지 않은 특허보다 평균 3.96회의 인용을 받는 데 반해, 평균 1.93회로 더 높은 인용 수를 기록하여 인용 데이터가 일부 예측 능력을 지닌다는 점을 시사함.
• 주성분 분석 결과, 독창성, 근본성, 갱신성은 고영향력 혁신과 연결된 특허를 식별하는 데 핵심적인 특징으로 드러남.