[논문 리뷰] Preliminary Exploration of Formula Embedding for Mathematical Information Retrieval: can mathematical formulae be embedded like a natural language?

Liangcai Gao, Zhuoren Jiang외 4명|arXiv (Cornell University)|2017. 07. 17.

Mathematics, Computing, and Information Processing참고 문헌 8인용 수 23

한 줄 요약

이 논문은 신경어휘 임베딩 기법을 수학 기호와 공식에 적용하여 수학 정보 검색(MIR)을 위한 새로운 공식 임베딩 접근법을 제안한다. 수식 구성 요소의 벡터 표현을 학습하기 위해 'symbol2vec'를 도입하고, 전체 수식을 표현하기 위해 'formula2vec'를 제안하여 텍스트 매칭과 조합했을 때 향상된 검색 성능를 달성함으로써, 신경망 기반 표현 방식이 수학 언어 처리에 실현 가능하고 잠재력이 있음을 입증한다.

ABSTRACT

While neural network approaches are achieving breakthrough performance in the natural language related fields, there have been few similar attempts at mathematical language related tasks. In this study, we explore the potential of applying neural representation techniques to Mathematical Information Retrieval (MIR) tasks. In more detail, we first briefly analyze the characteristic differences between natural language and mathematical language. Then we design a "symbol2vec" method to learn the vector representations of formula symbols (numbers, variables, operators, functions, etc.) Finally, we propose a "formula2vec" based MIR approach and evaluate its performance. Preliminary experiment results show that there is a promising potential for applying formula embedding models to mathematical language representation and MIR tasks.

연구 동기 및 목표

• 자연어에서 성공한 신경 표현 기법이 수학 언어에 적용될 수 있는지 조사하기 위해.
• 자연어와 구조적·의미적으로 다름에도 불구하고 수학 공식을 표현하는 데 도전 과제를 해결하기 위해.
• 수학 정보 검색(MIR) 향상을 위한 공식 임베딩 프레임워크를 설계하고 평가하기 위해.
• MIR 랭킹에서 공식 임베딩이 텍스트 정보에 비해 기여하는 정도를 평가하기 위해.
• 검색 작업에서 수학 기호와 공식에 대한 분산 표현을 사용하는 것이 가능한지 탐색하기 위해.

제안 방법

• 대규모 LaTeX 형식의 공식 코퍼스에서 수학 기호(예: 변수, 연산자, 함수)를 대상으로 음성 샘플링을 적용한 CBOW 아키텍처를 변형하여 'symbol2vec' 임베딩을 학습하기 위해 적응시켰다.
• 수식을 최소 단위의 의미 있는 기호로 분해하기 위해 수식 토크나이저를 사용하여 총 892종의 고유한 기호 유형을 도출하였다.
• 수식 내 모든 기호의 임베딩을 평균화하여 밀도 있는 벡터 표현을 생성함으로써 'formula2vec'를 제안하였다.
• 검색에서 수식 간 및 쿼리-페이지 유사도를 계산하기 위해 코사인 유사도를 스코링 함수로 적용하였다.
• 디리클레 스무oothing을 사용한 가중치 융합 방식으로 공식 임베딩 스코어와 언어 모델 스코어를 융합한 복합 랭킹 모델을 개발하였다.
• 하이퍼파rameter α가 공식 신호와 텍스트 신호 간의 균형을 조절하는 방식으로, 표준 MIR 메트릭을 사용하여 NTCIR-12 MathIR 데이터셋에서 접근법을 평가하였다.

실험 결과

연구 질문

• RQ1 어휘 임베딩과 같은 신경 표현 기법이 수학 언어에 효과적으로 적용될 수 있는가?
• RQ2 공식 임베딩이 수학 정보 검색(MIR) 작업의 성능을 향상시킬 수 있는가?
• RQ3 기존의 텍스트 매칭 기법에 비해 공식 임베딩은 MIR에서 얼마나 효과적인가?
• RQ4 하이브리드 검색 모델에서 공식 임베딩과 텍스트 정보 사이의 최적의 균형은 무엇인가?
• RQ5 다양한 임베딩 차원과 하이퍼파rameter가 검색 성능에 어떤 영향을 미치는가?

주요 결과

• 수식 기호에 대한 'symbol2vec' 모델은 의미적으로 유사한 기호(예: sin, cos, tan)가 가장 가까운 이웃으로 나타나는 의미 있는 벡터 표현을 성공적으로 학습하였다.
• 'formula2vec' 접근법은 희망적인 성능를 보였으며, 밀도 있는 수식 표현이 구조적 및 의미적 관계를 포착할 수 있음을 보여주었다.
• formula2vec를 언어 모델(LM)과 융합한 결과, 개별적으로 사용했을 때보다 유의미하게 뛰어난 성능을 달성하였으며, 복합 모델이 전체 MIR 성능에서 최고의 성능를 기록하였다.
• 결합 모델에서 텍스트 정보가 공식 임베딩보다 더 큰 기여를 하였으며, 이는 높은 α 값에서 최적의 성능를 기록함으로써 확인되었다.
• 임베딩 차원을 늘일수록 성능이 300까지 향상되었고, 이후에는 성능 향상이 둔화되어 수익 감소의 경향을 보였으며, 이는 이 이상의 차원에서는 추가 이득이 줄어들 것임을 시사하였다.
• 일부 기호(예: '+')의 경우 모호한 맥락으로 인해 표현에 한계를 드러내었으며, 이는 더 정교한 맥락 모델링이 필요함을 시사한다.