[논문 리뷰] Combining Text and Formula Queries in Math Information Retrieval: Evaluation of Query Results Merging Strategies

Martin Líška, Petr Sojka외 1명|arXiv (Cornell University)|2015. 08. 08.

Mathematics, Computing, and Information Processing참고 문헌 4인용 수 4

한 줄 요약

이 논문은 텍스트 키워드와 수학 공식을 조합한 쿼리에서 수학 정보 검색(MIR)을 위한 쿼리 확장 및 결과 병합 전략을 제안하고 평가한다. LRO(Lеаvе RighтmosT Ouт) 방법을 사용해 부분 쿼리를 생성하고 가중치를 적용한 점수 기반으로 결과를 병합함으로써, 특히 NTCIR-11 MIR 데이터셋에서 검색 성능이 크게 향상된다. 기준 방법 대비 Bpref 및 MAP 지표에서 뛰어난 성능을 보이며, Presentation MathML에 비해 Content MathML가 더 우수한 결과를 내는 것으로 나타났다.

ABSTRACT

Specific to Math Information Retrieval is combining text with mathematical formulae both in documents and in queries. Rigorous evaluation of query expansion and merging strategies combining math and standard textual keyword terms in a query are given. It is shown that techniques similar to those known from textual query processing may be applied in math information retrieval as well, and lead to a cutting edge performance. Striping and merging partial results from subqueries is one technique that improves results measured by information retrieval evaluation metrics like Bpref.

연구 동기 및 목표

• 혼합 텍스트 및 공식 쿼리에 대해 수학 정보 검색(MIR)에서 쿼리 완화 및 결과 병합 전략을 평가하기 위해.
• 사용자가 텍스트 키워드와 수학적 표현을 모두 포함한 복잡한 쿼리를 제출할 경우 MIR 시스템에서 낮은 재현율과 정밀도를 보이는 문제를 해결하기 위해.
• 부분 쿼리 생성을 통한 쿼리 확장 및 결과 병합 전략이 기준 방법 대비 검색 효과성을 향상시키는지 확인하기 위해.
• 다양한 수학적 표기 형식(Content MathML 대비 Presentation MathML)이 검색 성능에 미치는 영향을 평가하기 위해.

제안 방법

• LRO(Lеаvе RighтmosT Ouт) 전략은 원본 쿼리에서 오른쪽 끝에 있는 항목(텍스트 키워드 또는 공식)을 반복적으로 제거함으로써 부분 쿼리를 생성한다. 이는 전체 쿼리에서 시작하여 순서대로 텍스트만 또는 공식만 포함한 쿼리로 내려간다.
• 각 부분 쿼리는 MIaS 시스템을 통해 독립적으로 처리되며, 이 시스템은 공식 유사성과 정규화된 표현을 고려한 수정된 TF-IDF 순위 기반으로 문서를 색인하고 검색한다.
• 부분 쿼리의 결과는 가중치 점수 기반 병합 방식을 통해 통합되며, 원본에 가까운(덜 축소된) 쿼리일수록 더 높은 가중치를 부여하여 더 구체적인 매칭 결과를 우선시한다.
• 수학적 표현의 정규화된 일반화된 형태를 사용하여 다양한 문법적 변형 간의 일치 정확도를 향상시킨다.
• 평가에는 NTCIR-11 수학 작업 2 데이터셋을 사용하였으며, 50개 주제, 105,120건의 문서, 2,501건의 관련성 평가가 포함되어 있으며, 이진 관련성 및 Bpref, MAP, P@1, P@5, P@10 등의 지표에 중점을 두었다.
• 완전하지 않은 관련성 풀에 더 적합한 Bpref를 계산하기 위해 Terrier의 수정된 평가 도구를 사용하였다.

실험 결과

연구 질문

• RQ1 부분 쿼리 생성을 통한 쿼리 확장 전략이 수학 정보 검색에서 검색 성능을 어떻게 향상시키는가?
• RQ2 Bpref 및 MAP 지표에서 가장 높은 성능을 내는 결과 병합 전략은 무엇인가? (부분 쿼리 결과의 가중 조합)
• RQ3 원본 쿼리의 항목 순서가 LRO 전략의 효과성에 영향을 미치는가?
• RQ4 다른 수학적 표기 형식(Content MathML 대비 Presentation MathML)이 검색 성능에 어떤 영향을 미치는가?
• RQ5 완전한 쿼리에 비해 고립된 텍스트나 공식 항목이 검색 성능에 얼마나 기여하는가?

주요 결과

• LRO(Lеаvе RighтmosT Ouт) 쿼리 확장 전략이 Bpref 및 MAP 지표에서 모두 기준 OQO(Original Query Only)보다 뛰어난 성능을 보였다.
• OQO 기준 방법은 모든 확장 기반 방법보다 유의미하게 열등했으며, 이는 쿼리 완화가 정밀도를 희생시키지 않고 재현율을 향상시키기 위해 필수적임을 시사한다.
• 텍스트 전용 쿼리(TTO 런)는 OQO 기준보다 더 많은 관련 문서를 검색했으며, LRO 전략은 이러한 결과를 성공적으로 포괄하여 공식이 실패할 경우에도 강건함을 입증했다.
• Content MathML는 Presentation MathML보다 略로 더 우수한 결과를 내었는데, 이는 Presentation MathML가 의미적으로 덜 관련된 마크업을 포함하여 일치 오류를 유발할 수 있기 때문이다.
• LRO 전략은 쿼리 항목 순서에 대해 강건한 편이었으며, 역순 쿼리 형식도 유사한 성능을 보여, 초기 항목 순서에 민감하지 않음을 시사한다.
• 기타 확장 방법인 LOO, LOoTO 및 APS는 다소 열등한 성능을 보였으며, 이는 LRO가 가장 중요도가 낮은 항목(오른쪽 끝 항목)을 체계적으로 제거하는 것이 이 설정에서 최적임을 시사한다.