[논문 리뷰] Tree-Based Representation and Generation of Natural and Mathematical Language

Alexander Scarlatos, Andrew Lan|arXiv (Cornell University)|2023. 02. 15.

Mathematics, Computing, and Information Processing인용 수 4

한 줄 요약

이 논문은 자연어와 수학어를 동시에 표현하고 생성할 수 있도록 수정된 GPT-2 모델인 MathGPT을 제안한다. 이는 수학적 표현을 의미적 및 위치 인코딩을 갖춘 연산자 트리로 인코딩하고, 문법적 타당성을 보장하기 위해 제약 조건이 있는 디코딩을 사용한다. 모델은 문법적으로 타당한 수식 생성에서 베이스라인을 능가하며, 구조적 및 의미적 특성을 유지한다.

ABSTRACT

Mathematical language in scientific communications and educational scenarios is important yet relatively understudied compared to natural languages. Recent works on mathematical language focus either on representing stand-alone mathematical expressions, especially in their natural tree format, or mathematical reasoning in pre-trained natural language models. Existing works on jointly modeling and generating natural and mathematical languages simply treat mathematical expressions as text, without accounting for the rigid structural properties of mathematical expressions. In this paper, we propose a series of modifications to existing language models to jointly represent and generate text and math: representing mathematical expressions as sequences of node tokens in their operator tree format, using math symbol and tree position embeddings to preserve the semantic and structural properties of mathematical expressions, and using a constrained decoding method to generate mathematically valid expressions. We ground our modifications in GPT-2, resulting in a model MathGPT, and demonstrate that it outperforms baselines on mathematical expression generation tasks.

연구 동기 및 목표

• 수학적 표현의 엄격한 구조적 특성을 고려함으로써 자연어와 수학어를 동시에 모델링하는 데 있어 발생하는 격차를 해소하기 위해.
• 변수나 수치를 포함한 연산자 트리로 수식을 표현하고 위치 인식 임베딩을 사용함으로써 수학적 표현 생성을 향상시키기 위해.
• 생성된 수학적 표현의 문법적 정확성을 보장하기 위해 제약 조건이 있는 디코딩 전략을 개발하기 위해.
• 공식적인 수학적 텍스트를 기반으로 통합 모델을 사전 훈련시켜, 후속 수학 생성 작업에서 더 나은 성능을 내기 위해.
• 정량적 및 정성적 분석을 통해 모델이 수학적 표현의 의미적 및 구조적 특성을 얼마나 잘 포착하는지 평가하기 위해.

제안 방법

• 수학적 표현은 비엽기 노드가 연산자이고 잎노드가 변수나 수치인 연산자 트리(OPT)로 표현된다.
• 수학적 표현의 토큰 임베딩은 텍스트 토큰 임베딩에 적용되는 학습 가능한 변환을 통해 학습되며, 의미적 및 구조적 정보를 유지한다.
• 트리 위치 임베딩은 연산자 트리 내에서 각 노드의 계층적 위치를 인코딩하기 위해 도입되어 구조 인식 능력을 향상시킨다.
• 병렬화 가능한 제약 조건이 있는 디코딩 절차는 생성 중에 문법 규칙을 강제 적용하여 수학적으로 타당한 표현만 생성하도록 보장한다.
• 모델는 수학 위키백과 기사들에 대해 사전 훈련되며, GPT-2를 자연어와 수학을 동시에 모델링하는 통합 자동회귀 프레임워크에 적응시킨다.
• 결과적으로 생성된 모델인 MathGPT는 후속 수학 표현 생성 작업에서 미세조정 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 수학적 표현의 계층적 구조를 활용함으로써 통합 언어 모델이 자연어와 수학어를 효과적으로 표현하고 생성할 수 있는가?
• RQ2 위치 인식 임베딩과 의미 임베딩은 모델이 구조적으로 타당한 수학적 표현을 생성하는 데 얼마나 기여하는가?
• RQ3 표준 자동회귀 디코딩에 비해 제약 조건이 있는 디코딩은 생성된 수학적 표현의 문법적 정확도를 얼마나 향상시키는가?
• RQ4 연산자 트리 표현 방식을 도입함으로써 순차 기반 표현 방식에 비해 수학적 표현 생성에 측정 가능한 향상이 이루어지는가?
• RQ5 사전 훈련 제도에서 다양한 수학 주제와 복잡도 수준에 대해 모델의 일반화 능력은 얼마나 우수한가?

주요 결과

• MathGPT는 표준 GPT-2 및 기타 베이스라인보다 수학적 표현 생성 작업에서 더 뛰어나며, 특히 문법적으로 타당한 표현 생성에서 뛰어난 성능을 보인다.
• 학습된 임베딩 분석을 통해 모델이 수학적 표현의 의미적 및 구조적 특성을 더 잘 포착하고 있음을 확인할 수 있다.
• 제약 조건이 있는 디코딩은 생성된 수학적 표현 중 문법적으로 타당한 표현의 비율을 크게 높여 문법 오류를 감소시킨다.
• 트리 위치 임베딩을 사용함으로써, 이러한 위치 인코딩이 없는 모델에 비해 수학적 표현 내 계층적 관계를 더 잘 모델링할 수 있음을 보여준다.
• 공식적인 수학적 내용에 대해 사전 훈련을 수행함으로써 MathGPT는 고품질의 수식 생성이 가능하지만, 학생이 작성한 또는 비공식적인 수학어에서는 성능 저하가 발생할 수 있다.
• 모델의 성능은 완벽하지 않은 LaTeX에서 OPT로의 변환 및 외부 트리 구문 분석 도구에 의존함으로써 노이즈가 발생하고 복원력이 떨어지는 데서 제한을 받는다.