[논문 리뷰] Test Collections for Patent-to-Patent Retrieval and Patent Map Generation in NTCIR-4 Workshop

Atsushi Fujii, Makoto Iwayama외 1명|ArXiv.org|2004. 04. 10.

Advancements in Photolithography Techniques참고 문헌 3인용 수 8

한 줄 요약

이 논문은 NTCIR-4 워크숍에서 특허 간 검색 및 특허 맵 생성을 위한 테스트 컬렉션을 제시하며, 무효성 검색과 반자동 특허 맵핑에 중점을 둔다. 조합적 관련성(Combinational relevance)을 고려한 파assage 기반 평가를 도입하여, 복수의 파assage가 함께 문서의 관련성을 정당화할 수 있도록 하였고, 다국어 및 구조화된 데이터 지원 기능을 갖춘 장문의 문서, 연관성 기반 정보 검색 연구를 위한 공개된 데이터셋을 제공한다.

ABSTRACT

This paper describes the Patent Retrieval Task in the Fourth NTCIR Workshop, and the test collections produced in this task. We perform the invalidity search task, in which each participant group searches a patent collection for the patents that can invalidate the demand in an existing claim. We also perform the automatic patent map generation task, in which the patents associated with a specific topic are organized in a multi-dimensional matrix.

연구 동기 및 목표

• 무효성 검색의 맥락에서 특허 검색 시스템을 평가하기 위한 표준화된 테스트 컬렉션을 개발하기 위해.
• 다차원 매트릭스를 활용한 관련 특허 정리의 타당성 연구로서 자동 특허 맵 생성을 탐색하기 위해.
• 장문의 반구조화된 문서 및 특허 정보 검색에서 파assage 수준의 관련성에 대한 연구를 지원하기 위해.
• 다국어 특허 청구항 및 초록을 사용하여 다국어 검색 평가를 가능하게 하기 위해.
• 다중 파assage의 조합적 관련성을 고려한 새로운 파assage 기반 관련성 모델을 도입하고 평가하기 위해.

제안 방법

• 1993~1997년 기간 동안 심사되지 않은 일본 특허 출원서 170만 건, 총 40GB의 컬렉션을 구축하였으며, 문단 단위로 태그가 부여된 파assage로 구성하였다.
• 기각된 일본 특허에서 유래한 103개의 검색 주제를 생성하였으며, 각 주제에는 청구항 구성요소, 출원일, 다국어 청구항(일본어, 영어, 중국어)이 포함되었다.
• JIPA 전문가들이 문서 및 파assage 구성요소에 대해 관련성 평가를 수행하였으며, 청구항 요소 수준의 관련성 평가를 실시하였다.
• 다수의 파assage가 함께 관련성을 정당화할 수 있도록 지원하는, 관련성 확보를 위한 검색된 파assage 수를 기반으로 한 새로운 평가 지표를 도입하였다.
• 다국어 정보 검색 훈련 및 평가를 위해 영문 초록(PAJ)과 일본어 초록(JAPIO)을 제공하였다.
• 특허 맵 생성을 위해 NTCIR-3의 특허 컬렉션을 기반으로 하였으며, 각 주제별로 100건 이상의 관련 문서를 포함하는 6개 주제를 선정하였다.

실험 결과

연구 질문

• RQ1 파assage 수준의 증거를 활용하여, 특허 청구항을 무효화할 수 있는 기존기술을 검색 시스템이 얼마나 효과적으로 식별할 수 있는가?
• RQ2 인용자료, 수동 전문가 검색, 시스템 풀링 등 서로 다른 자료원이 관련 기존기술을 찾는 데 얼마나 독립적으로 기여하는가?
• RQ3 파assage 그룹(조합적 관련성)이 단일 관련 파assage와 동일한 관련성 근거로 간주될 수 있는가?
• RQ4 다차원적 조직 방식을 활용하여 주제별 문서 집합에서 반자동 특허 맵 생성이 얼마나 타당한가?
• RQ5 다국어 청구항 및 초록은 다국어 특허 검색 성능에 어떤 영향을 미치는가?

주요 결과

• 인용자료(C)와 수동 전문가 검색(J)을 통해 확보한 관련 문서 수는 각각 159건과 185건으로 거의 유사한 수준이었다.
• 시스템 풀링(S)이 인용자료와 수동 전문가 검색의 합집합(C ∪ J)과 유사한 관련 문서 수를 확보하여, 높은 시스템 다양성과 효과성을 보였다.
• 평가 프레임워크는 조합적 관련성을 성공적으로 포착하였으며, 복수의 파assage가 단일 파assage와 동일한 관련성 근거로 간주되었다.
• 파assage 기반 평가가 문서 수준 평가를 능가하여, 문서 내 다수의 파트에서 누적된 증거를 반영하였다.
• 다국어 청구항 및 구조화된 메타데이터를 포함한 이 테스트 컬렉션은 다국어 검색 및 장문의 문서 기반 정보 검색 연구에 효과적이었다.
• 정량적 평가가 이루어지지 않았지만, 특허 맵 생성 작업은 문제-해결 차원을 기반으로 주제별 특허를 이차원 매트릭스로 정리하는 것이 타당함을 입증하였다.