[논문 리뷰] Why Machines Cannot Learn Mathematics, Yet

André Greiner-Petter, Terry Ruas외 4명|arXiv (Cornell University)|2019. 05. 20.

Topic Modeling참고 문헌 10인용 수 5

한 줄 요약

이 논문은 현재의 기계학습 기법, 특히 word2vec 및 PV와 같은 단어 임베딩 기법이 언어적 모호성, 맥락 의존성, 수학적 마크업의 정확도 부족으로 인해 수학적 표현을 충분히 표현하지 못한다고 주장한다. 이를 해결하기 위해 저자는 수학적 표현의 의미 해석을 통합하는 재귀적이고 트리 구조를 가진 '수학적 관심 대상(MOIs)'을 제안한다. 이는 수학 정보 검색(MIR) 분야에서 더 견고하고 일관된 학습을 가능하게 한다.

ABSTRACT

Nowadays, Machine Learning (ML) is seen as the universal solution to improve the effectiveness of information retrieval (IR) methods. However, while mathematics is a precise and accurate science, it is usually expressed by less accurate and imprecise descriptions, contributing to the relative dearth of machine learning applications for IR in this domain. Generally, mathematical documents communicate their knowledge with an ambiguous, context-dependent, and non-formal language. Given recent advances in ML, it seems canonical to apply ML techniques to represent and retrieve mathematics semantically. In this work, we apply popular text embedding techniques to the arXiv collection of STEM documents and explore how these are unable to properly understand mathematics from that corpus. In addition, we also investigate the missing aspects that would allow mathematics to be learned by computers.

연구 동기 및 목표

• 과학 문서 내 수학적 표현을 이해하는 데 있어 기존 기계학습 접근법의 근본적 한계를 규명하는 것.
• 기계학습에서 자연어 처리(NLP) 분야에서 성공을 거둔 텍스트 임bedding 기법들이 수학 정보 검색(MIR) 분야에서는 실패하는 이유를 분석하는 것.
• 현재 기계학습 파ip라인에서 수학적 표현에 대한 표준화되고 의미가 풍부한 표현 방식의 부족을 해결하는 것.
• 일관되고 해석 가능한 수학적 표현의 의미 모델링을 가능하게 하는 새로운 통합 프레임워크인 '수학적 관심 대상(MOIs)'을 제안하는 것.
• 수학적 표현의 의미적 구성 요소를 정밀하게 포착하는 유연하고 재귀적인 트리 구조로서 MOIs를 도입함으로써 향후 연구의 기반을 마련하는 것.

제안 방법

• arXiv 과학 기술 분야 코퍼스에 인기 있는 텍스트 임베딩 모델(예: word2vec, PV)을 적용하여 수학적 표현을 표현하는 데의 능력을 평가하는 것.
• 내용 MathML 3.0 및 OpenMath와 같이 의미를 포착하는 데에 한계가 있는 기존 수학 마크업 표준의 단점을 분석하는 것.
• 각 노드가 수학적 표현의 의미적 구성 요소를 나타내는 재귀적 트리 구조로 구성된 '수학적 관심 대상(MOIs)'을 도입하는 것.
• 예를 들어 $\alpha_i$를 부모 노드로 간주하고 $\alpha$와 $i$를 자식 노드로 간주함으로써 계층적 의미 관계를 인코딩하여 맥락과 구조를 유지하는 것.
• TeX 토큰화, 표현적 MathML, 내용 기반 MathML 파싱 접근법의 통찰을 통합하는 통합 추상화로 MOIs를 제안하는 것.
• 통계적 패턴을 탐색하기 위해 어간 빈도 및 역문헌 빈도(tf-idf) 분석을 활용하며, 초보적 증거로 자연어와 유사한 지프 법칙에 가까운 분포가 있음을 시사하는 것.

실험 결과

연구 질문

• RQ1 기계학습 모델이 자연어 처리 분야에서 성공을 거둔 것과는 달리, 수학적 표현의 의미를 학습하지 못하는 이유는 무엇인가?
• RQ2 표준 텍스트 임베딩 기법을 사용할 때 수학적 표현을 표현하는 데 있어 근본적인 구조적 및 의미적 과제는 무엇인가?
• RQ3 예를 들어 $\alpha_i$와 같은 중첩되거나 복합적인 구성 요소를 가진 수학적 표현은 어떻게 의미적으로 분석하고 표현할 수 있는가? 이때 의미가 유지되도록 하는가?
• RQ4 내용 MathML와 같은 정확도가 떨어지거나 모호한 표준이 수학 이해의 장애가 되는 데 어떤 역할을 하는가?
• RQ5 MOIs처럼 통합적이고 재귀적이며 확장 가능한 표현 방식이 수학 정보 검색(MIR)을 위한 더 일관되고 효과적인 기계학습을 가능하게 할 수 있는가?

주요 결과

• word2vec 및 PV와 같은 인기 있는 텍스트 임베딩 기법은 언어적 모호성과 맥락 의존성으로 인해 수학적 표현의 의미를 포착하지 못한다.
• 유사한 근본적 문제들—모호성, 형식주의 부족, 맥락 의존성—은 여러 MIR 프로젝트에 걸쳐 지속되며, 이는 그들의 일반화 가능성과 신뢰성에 악영향을 미친다.
• 내용 MathML 3.0와 같은 기존 수학 마크업 표준은 함수, 변수, 복합 표현을 정의하는 명확한 규칙가 부족하여 의미 해석에 부적합하다.
• 바른 바어든의 정리에서 나타나는 표현 $W(2,k)$는 기호의 해석이 맥락에 따라 달라질 수 있음을 보여준다. 즉, $W$는 함수일 수도 있고 변수일 수도 있으며, 이는 서로 다른 의미적 의미를 초래할 수 있다.
• 제안된 수학적 관심 대상(MOIs) 구조는 $\alpha$, $i$, $\alpha_i$와 같은 의미적 구성 요소를 별개의 의미 있는 노드로 포착하는 재귀적 트리 기반 표현 방식을 가능하게 한다.
• 초기 분석 결과 수학적 객체가 자연어와 유사한 통계적 분포(예: 지프의 법칙)를 따를 가능성이 있음을 시사하며, 이는 tf-idf 및 빈도 기반 방법을 활용해 과학적 텍스트 내 의미 있는 의미 단위를 식별하는 데의 타당성을 뒷받침한다.