[논문 리뷰] Making math searchable in Wikipedia

Moritz Schubotz|arXiv (Cornell University)|2012. 01. 01.

Mathematics, Computing, and Information Processing참고 문헌 6인용 수 3

한 줄 요약

이 논문은 LaTeX 수식을 semantic Content-MathML로 변환하기 위해 LaTeXML를 사용하고, MathWebSearch를 통해 인덱싱하며 Lucene와 통합하여 위키백과에서 텍스트와 수식을 병합해 검색할 수 있도록 하는 MathSearch 시스템을 제시한다. 주요 기여는 수식 검색과 텍스트 검색을 융합함으로써 정밀도를 크게 향상시키는 작동 가능한 오픈소스 플러그인을 개발한 것으로, 관련 없는 결과를 줄이고 의미 기반 매칭을 통해 수학적으로 동치인 표현을 탐색할 수 있도록 한다.

ABSTRACT

Wikipedia, the world largest encyclopedia contains a lot of knowledge that is expressed as formulae exclusively. Unfortunately, this knowledge is currently not fully accessible by intelligent information retrieval systems. This immense body of knowledge is hidden form value-added services, such as search. In this paper, we present our MathSearch implementation for Wikipedia that enables users to perform a combined text and fully unlock the potential benefits.

연구 동기 및 목표

• 지능형 정보 검색 시스템이 위키백과의 수학적 수식에 접근하기 어려운 문제를 해결하기 위해.
• 표기 방식의 다양성으로 인해 문자 기반 검색 엔진이 수학적으로 동치인 표현을 검색하는 데 한계를 가진다는 문제를 극복하기 위해.
• 위키백과의 텍스트와 의미 기반 수식 내용을 모두 인덱싱하는 확장 가능한 오픈소스 솔루션을 개발하기 위해.
• 의미 기반 수식 검색과 전면 텍스트 검색을 결합함으로써 검색 정밀도를 향상시키는 데서의 가능성과 효과성을 입증하기 위해.
• 수학 인식 검색을 통해 연구 탐색, 특허 검색, 기술 컨설팅과 같은 부가가치 서비스를 가능하게 하기 위해.

제안 방법

• MediaWiki의 기존 texvc 기반 이미지 렌더링 방식을 대체하기 위해 원격 LaTeXML 데몬을 도입하여 의미 기반 Content-MathML과 표현용 MathML을 출력하도록 한다.
• 생성된 Content-MathML을 중앙 데이터베이스에 저장하여 서버 측 처리 및 인덱싱를 가능하게 한다.
• 수학적으로 동치인 표현을 표기 방식과 관계없이 매칭하기 위해 의미 기반 통합을 사용하는 MathWebSearch 엔진을 통합한다.
• MathWebSearch 결과와 Lucene 기반 전면 텍스트 검색 결과를 결과 교차 및 계층적 표시를 통해 융합한다.
• 텍스트 및 수식 쿼리 전용의 이중 입력 필드를 갖춘 프론트엔드를 설계하며, 변수 추상화를 위해 예를 들어 ?x와 같은 자리표시자를 사용한다.
• 가상 머신을 사용하여 표준 랩탑에서 시스템을 구축하고, 10,000건의 문서를 포함한 ArXiv 코퍼스에서 실시간 성능을 입증하였다.

실험 결과

연구 질문

• RQ1 텍스트와 수식을 병합한 검색 시스템이 위키백과에서 수학적 쿼리의 검색 정밀도를 크게 향상시킬 수 있는가?
• RQ2 의미 기반 Content-MathML은 다양한 표기 체계 간 수학적으로 동치인 표현을 탐색하는 데 얼마나 효과적인가?
• RQ3 의미 기반 수식 검색 엔진(MathWebSearch)과 기존 전면 텍스트 검색 엔진(Lucene)을 통합할 경우 관련 없는 결과를 줄이는 데 얼마나 효과적인가?
• RQ4 확장 가능한 오픈소스 플러그인을 구현하여 MediaWiki 플랫폼에서 수학 인식 검색을 가능하게 할 수 있는가?
• RQ5 기존 수학 검색 시스템과 비교해 실제 사용자 평가 기반 실시간 쿼리에서 시스템은 어떤 성능을 보이는가?

주요 결과

• 쿼리 'Gröbner, a?x² + b?y² + ?z'에 대해 MathSearch는 관련 없는 결과를 단 한 건으로 줄였고, WebMIaS는 455건을 기록하여 정밀도가 뛰어나다는 것을 입증하였다.
• 쿼리 'Bp+n = Bn + Bn+1 mod p for all n = 0, 1, 2, ...'에 대해 MathSearch와 WebMIaS 모두 첫 번째 위치에 정확한 결과를 반환하여 핵심 검색 기능에서 기능적 동치성을 확인하였다.
• 표준 랩탑에서 가상 머신을 사용하여 실시간 성능을 입증하였고, 고성능 인프라가 필요하지 않다는 점에서 실현 가능성을 입증하였다.
• LaTeXML을 통한 의미 기반 Content-MathML 사용으로 표기의 다양성 문제를 해결하고 정확한 수학적 동치성 탐지가 가능했다.
• MathWebSearch와 Lucene 간 결과 교차를 통한 통합은 의미 기반 수식 매칭의 강점과 높은 정밀도의 텍스트 검색 기능을 효과적으로 융합하였다.
• 오픈소스 구현체는 공개되어 있어 다른 콘텐츠 제공자 및 연구자들이 이를 도입하고 확장할 수 있다.