[논문 리뷰] TopicEq: A Joint Topic and Mathematical Equation Model for Scientific Texts

Michihiro Yasunaga, John Lafferty|arXiv (Cornell University)|2019. 02. 16.

Mathematics, Computing, and Information Processing참고 문헌 40인용 수 4

한 줄 요약

TopicEq는 공유 잠재 주제를 사용하여 과학적 텍스트와 수학적 식을 함께 생성하는 통합 주제 및 식 모델을 제안한다. 식은 주제 활성화 벡터에 조건부로 RNN을 통해 생성되며, 이는 기존의 주제 및 식 모델보다 유의미하게 뛰어난 성능을 보이며, 주제 인식 기반 식 생성 및 기호-단어 정렬과 같은 새로운 응용 가능성을 제공한다.

ABSTRACT

Scientific documents rely on both mathematics and text to communicate ideas. Inspired by the topical correspondence between mathematical equations and word contexts observed in scientific texts, we propose a novel topic model that jointly generates mathematical equations and their surrounding text (TopicEq). Using an extension of the correlated topic model, the context is generated from a mixture of latent topics, and the equation is generated by an RNN that depends on the latent topic activations. To experiment with this model, we create a corpus of 400K equation-context pairs extracted from a range of scientific articles from arXiv, and fit the model using a variational autoencoder approach. Experimental results show that this joint model significantly outperforms existing topic models and equation models for scientific texts. Moreover, we qualitatively show that the model effectively captures the relationship between topics and mathematics, enabling novel applications such as topic-aware equation generation, equation topic inference, and topic-aware alignment of mathematical symbols and words.

연구 동기 및 목표

• 현재 방법들이 별도로 다루는 과학적 텍스트 내 주제와 수학적 식을 함께 모델링하는 데에 미치는 격차를 해결하기 위해.
• RNN를 통해 문장의 문법적 및 의미적 정보를 식에서 추출함으로써 과학 문서 내 주제 모델링을 향상시키기 위해.
• 주변 텍스트의 문맥적 단어 정보와 주제 구조를 활용하여 수학적 식 생성의 문법적 타당성과 관련성 향상시키기 위해.
• 수학 기호와 자연어 설명 간 해석 가능한 주제 인식 기반의 연관성 확립하기 위해.
• 수동 레이블링 없이도 새로운 응용 가능성을 지원하는 비지도 학습 프레임워크 개발하기 위해.

제안 방법

• 공유 잠재 주제 비율을 사용하여 텍스트 문맥과 수학적 식을 함께 생성하도록 관련 주제 모델을 확장한다.
• 주제 활성화 벡터에 조건부로 RNN을 사용하여 LaTeX 기호의 시퀀스로서 식을 생성한다.
• 대규모 ContextEq-400K 코퍼스에서 근사 사후 추론을 수행하기 위해 변분 오토인코더를 통한 신경망 기반 변분 추론을 적용한다.
• 주제 기반 정렬 행렬을 파rameter화한 주제 인식 정렬 모델을 도입하여 기호-단어 연관성을 학습한다.
• 문맥 의존적 기호 의미를 모델링하기 위해 다층 정렬 행렬 $ A(\theta) = W_a \cdot \text{diag}(W_b\theta) \cdot W_c $ 를 활용한다.
• arXiv 논문에서 추출한 400,000개의 식-문맥 쌍을 대상으로 LATEX 소스를 사용해 정확한 파싱을 수행하며, 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 식을 토큰의 집합으로 간주하는 것과 비교해, 주제와 식을 함께 모델링하는 것이 과학적 텍스트 내 주제 모델링 품질 향상에 기여하는가?
• RQ2 문맥 텍스트와 주제 구조를 통합함으로써 생성된 수학적 식의 문법적 타당성과 관련성 향상이 가능한가?
• RQ3 수학 기호와 자연어 설명 간 주제 인식 기반 연관성은 어느 정도의 수준에서 학습 가능한가?
• RQ4 일반 주제 모델 및 식 모델과 비교해 볼 때, 통합 모델은 퍼플렉서티와 일관성 측면에서 어떤 성능을 보이는가?
• RQ5 라벨이 없는 데이터를 사용해도 주제 인식 기반 식 생성 및 기호 의미 추론과 같은 새로운 응용 가능성을 지원할 수 있는가?

주요 결과

• 주제 인식 기반 기호-단어 정렬을 고려하지 않은 기준 정렬 모델 대비 테스트 퍼플렉서티가 33% 이상 감소하여, 주제 인식 기반 정렬의 가치를 입증한다.
• 통합 모델의 주제 일관성 점수는 50개 주제일 때 0.088, 100개 주제일 때 0.087을 기록하며, 기준 주제 모델(0.085/0.084) 대비 중간 정도이지만 일관된 향상을 보였다.
• 모델은 기호에 대해 문맥에 적합한 의미를 성공적으로 학습한다: 예를 들어, 확률론에서는 $E$가 "기대값"과 연관되고, 양자역학에서는 "전기장"과, 그래프 이론에서는 "에지"와 관련된다.
• 주제 문맥을 고려하지 않은 기준 모델은 $E$가 다양한 분야에서 높은 빈도로 나타나기 때문에 주로 "에너지"와 연관되며, 이는 주제 인식 모델링의 유용성을 강조한다.
• 주제 인식 기반 식 생성은 가능하고 효과적이며, 생성된 식은 관련 주제의 의미적 및 문법적 패턴을 잘 반영한다.
• 모델은 비지도 방식으로 식 주제 추론 및 기호-단어 정렬을 가능하게 하여, 낯선 수학적 내용을 만났을 때 독자에게 실질적인 유용성을 제공한다.