[논문 리뷰] Growing the Digital Repository of Mathematical Formulae with Generic LaTeX Sources

Howard S. Cohl, Moritz Schubotz외 5명|arXiv (Cornell University)|2015. 05. 06.

Mathematics, Computing, and Information Processing참고 문헌 11인용 수 4

한 줄 요약

이 논문은 KLS 및 KLSadd 책들에서 유래한 일반적인 LaTeX 수식 소스—구문적으로만 표현되는 수식—를 자동으로 의미론적 메타데이터(기호, 치환, 제약 조건 등)로 풍부하게 하는 방법을 제시한다. 이 방법은 높은 품질의 콘텐츠 MathML을 포함한 표준화된 기계 가공 가능한 수식 홈페이지를 생성할 수 있게 하여, 기호 목록의 완성도가 98.6%에 이르며, 향후 컴퓨터 대수 시스템과의 통합을 가능하게 한다.

ABSTRACT

One initial goal for the DRMF is to seed our digital compendium with fundamental orthogonal polynomial formulae. We had used the data from the NIST Digital Library of Mathematical Functions (DLMF) as initial seed for our DRMF project. The DLMF input LaTeX source already contains some semantic information encoded using a highly customized set of semantic LaTeX macros. Those macros could be converted to content MathML using LaTeXML. During that conversion the semantics were translated to an implicit DLMF content dictionary. This year, we have developed a semantic enrichment process whose goal is to infer semantic information from generic LaTeX sources. The generated context-free semantic information is used to build DRMF formula home pages for each individual formula. We demonstrate this process using selected chapters from the book "Hypergeometric Orthogonal Polynomials and their $q$-Analogues" (2010) by Koekoek, Lesky and Swarttouw (KLS) as well as an actively maintained addendum to this book by Koornwinder (KLSadd). The generic input KLS and KLSadd LaTeX sources describe the printed representation of the formulae, but does not contain explicit semantic information. See http://drmf.wmflabs.org.

연구 동기 및 목표

• 의미론적 마크업이 명시적으로 포함되어 있지 않은 일반적인 LaTeX 소스를 처리할 수 있는 확장 가능한 파이프라인을 개발하여 수학 공식에 대한 풍부하고 기계로 처리 가능한 수식 홈페이지를 생성하는 것.
• 의미론적 검색, 하이퍼링크 기능, 컴퓨터 대수 시스템과의 통합을 지원하는 디지털 수학 공식 레포지터리(DRMF)를 구축할 수 있도록 하는 것.
• 의미론적 마크업이 없는 일반적인 LaTeX에서 신뢰할 수 있는 콘텐츠 MathML를 생성하는 데 오랫동안 지속된 과제를 해결하기 위해 자동 의미론적 풍부화 기법을 도입하는 것.
• 특히 치환과 제약 조건과 같은 수식 메타데이터에 대해 의미론적 풍부화 품질을 평가하기 위한 평가 지표와 골드 표준을 수립하는 것.
• 출력된 인쇄 책, OCR 처리된 이미지, Wolfram 언어 코드 등 다양한 출처를 통합하기 위해 통합된 매크로 교체 및 메타데이터 추출 파이프라인을 통해 DRMF를 확장하는 것.

제안 방법

• 의미론적 마크업이 명시되어 있지 않은 표현 수준의 마크업만을 포함한 KLS 및 KLSadd 책들로부터 일반적인 LaTeX 소스를 구문 분석한다.
• 규칙 기반 및 기계 학습 기법을 적용하여 LaTeX 텍스트에서 기호, 치환, 제약 조건, 수식 이름과 같은 의미론적 정보를 탐지하고 추론한다.
• 수학적 의미를 인코딩하기 위해 DLMF 및 DRMF 전용 의미론적 매크로를 자동으로 LaTeX 소스에 삽입하여 후속 콘텐츠 MathML 생성을 가능하게 한다.
• 일관성과 정확성을 보장하기 위해 일반적인 LaTeX를 의미론적으로 풍부화된 메타데이터가 내장된 LaTeX로 변환하는 맞춤형 매크로 교체 시스템을 사용한다.
• 표준 템플릿과 하이퍼링크 프레임워크를 사용하여 기호 목록, 증명, 참고 문헌 등 구조화된 메타데이터를 포함한 수식 홈페이지를 생성한다.
• LATEXML 및 sTeX과 같은 기존 도구를 활용하여 매크로 정의 및 콘텐츠 MathML 변환을 지원하여 현대 수학 웹 표준과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 의미론적 마크업이 명시되어 있지 않은 일반적인 LaTeX 소스에서 기호, 치환, 제약 조건과 같은 의미론적 정보를 어떻게 자동으로 추론할 수 있는가?
• RQ2 규칙 기반 및 기계 학습 기법이 의미론적 마크업이 없는 일반적인 LaTeX에서 수식 메타데이터를 탐지하고 풍부화하는 데 얼마나 효과적인가?
• RQ3 풍부화된 LaTeX 소스에서 자동으로 생성된 콘텐츠 MathML이 수작업으로 정제된 콘텐츠 MathML와 비교해 어떤 정도의 품질과 일관성을 갖는가?
• RQ4 출력된 인쇄 책, OCR 처리된 출력물, 계산 코드 등 다양한 출처를 통합하기 위해 확장 가능하고 유지보수 가능한 파이프라인을 어떻게 설계할 수 있는가?
• RQ5 특히 치환과 제약 조건에 대해 의미론적 풍부화의 정확성과 완전성을 평가하기 위한 평가 지표는 무엇을 개발할 수 있는가?

주요 결과

• 의미론적 풍부화 파이프라인이 KLS 및 KLSadd 데이터셋에서 1,219개의 수식 홈페이지를 성공적으로 생성하였으며, 이 중 98.6%의 수식 홈페이지가 비어 있지 않은 기호 목록을 포함하고 있었다.
• 원래 별도의 수식으로 제시된 208개의 치환 요소가 자동으로 탐지되어 515개의 수식에 삽입되어 메타데이터의 완전성에 크게 기여하였다.
• 이 방법은 높은 품질의 콘텐츠 MathML을 생성하여 오랫동안 지속된 수학 정보 검색 분야의 과제를 해결하였으며, 기계 가공 가능한, 확장 가능한, 검색 가능한 수학 콘텐츠를 가능하게 하였다.
• 풍부화된 LaTeX를 Mathematica, Maple, Sage 등에서 사용하는 형식과 호환되는 형식으로 변환함으로써, 향후 컴퓨터 대수 시스템과의 통합을 가능하게 하였다.
• 이 프로젝트는 제약 조건 및 증명 탐지, 매크로 교체에 대한 골드 표준을 확립하였으며, 향후 수학 텍스트 처리 분야의 NLP 및 기계 학습 기법 평가를 지원한다.
• 이 파이프라인은 확장 가능하며, 현재까지도 OCR 처리된 책 이미지(BMP) 및 Wolfram eCF 데이터셋과 같은 추가 자료에 적용 중이며, Wolfram 언어와 의미론적 LaTeX 간의 이중 방향 번역 기능 개발이 진행 중이다.