[논문 리뷰] Equation Parsing: Mapping Sentences to Grounded Equations

Subhro Roy, Shyam Upadhyay외 1명|arXiv (Cornell University)|2016. 09. 28.

Natural Language Processing Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 자연어 문장을 기반으로 변수와 그 관계를 식별하여 기반된 수학적 식으로 매핑하는 '식 parsing'을 소개한다. 수식 어휘와 구조화된 예측기의 파이프라인을 사용하는 프로젝티브 식 parsing 프레임워크를 제안하며, 새로운 주석이付け된 데이터셋에서 70%의 식 정확도와 60%의 정확한 변수 기반 정확도를 달 đạt했다.

ABSTRACT

Identifying mathematical relations expressed in text is essential to understanding a broad range of natural language text from election reports, to financial news, to sport commentaries to mathematical word problems. This paper focuses on identifying and understanding mathematical relations described within a single sentence. We introduce the problem of Equation Parsing -- given a sentence, identify noun phrases which represent variables, and generate the mathematical equation expressing the relation described in the sentence. We introduce the notion of projective equation parsing and provide an efficient algorithm to parse text to projective equations. Our system makes use of a high precision lexicon of mathematical expressions and a pipeline of structured predictors, and generates correct equations in $70\%$ of the cases. In $60\%$ of the time, it also identifies the correct noun phrase $ ightarrow$ variables mapping, significantly outperforming baselines. We also release a new annotated dataset for task evaluation.

연구 동기 및 목표

• 자연어 문장을 정확한 변수 기반과 함께 수학적 식으로 매핑하는 데 도전하는 것.
• 특히 다수의 변수와 암시적 참조를 포함하는 문장에서 수학적 관계를 식별하고 모델링하는 것.
• 변수 공참조와 관련 없는 양을 다룰 수 있는 확장 가능하고 정밀한 식 생성 방법을 개발하는 것.
• 식 parsing 시스템 평가를 위한 새로운 고품질 주석 데이터셋을 제공하는 것.
• 개별 문장 수준의 식 생성과 기반을 중점으로 하여 기존의 의미 parsing 및 수학 문제 해결 기법을 향상시키는 것.

제안 방법

• 식을 인접하고 연속된 텍스트 스트립에서 구성하는 프로젝티브 식 parsing의 개념을 도입하여 검색 공간을 줄인다.
• 수식 어휘(예: '차이의', '곱의')를 사용하여 식 구성에 안내한다.
• 불필요한 양 탐지, 공참조 해결, 식 생성을 위한 구조화된 예측기 파이프라인을 사용한다.
• 정확한 어휘 매칭을 통해 추론을 안내하고 식 및 기반 예측의 정확성을 확보한다.
• 관계어휘를 문맥에서 해석하기 위해 핵심 구조 용어(MidSpan, LeftSpan, RightSpan, LeftToken)를 정의한다.
• 추론의 실현 가능성을 유지하면서도 실제 관계의 고도의 커버리지가 이루어지도록 출력 공간을 프로젝티브 트리로 제한한다.

실험 결과

연구 질문

• RQ1 프로젝티브 parsing 접근법이 자연어 문장에서 식 생성의 복잡성을 효과적으로 줄일 수 있는가?
• RQ2 어휘 기반, 파이프라인 기반 시스템이 텍스트에 기술된 수학적 관계에서 변수를 얼마나 정확히 식별하고 기반할 수 있는가?
• RQ3 동일한 변수에 여러 명사어구를 기반하거나 동일한 어구를 여러 변수에 기반하는 것이 식 parsing 성능에 어느 정도의 영향을 미치는가?
• RQ4 구조화된 예측기 파이프라인이 불필요한 양을 탐지하고 정확한 식을 생성하는 데 얼마나 효과적인가?
• RQ5 새로운 고품질 주석 데이터셋이 식 parsing 시스템의 평가 및 벤치마킹에 얼마나 기여하는가?

주요 결과

• 시스템은 문장에서 정확한 수학적 식을 생성하는 데 70%의 정확도를 달달했다.
• 60%의 경우에서 시스템은 모든 변수를 정확히 기반하여 명사어구를 식 내의 해당 변수에 매핑했다.
• 수학적 관계를 기반으로 한 약 97%의 문장에서 프로젝티브 parsing 가정이 성립하여 방법론적 제약의 타당성을 뒷받침한다.
• 제안된 어휘 기반 접근법이 언어적 트리거를 기반으로 '+'('-', '×', '÷')와 같은 관계 연산자를 식별하는 정밀도를 크게 향상시켰다.
• 새로운 주석 데이터셋은 식 parsing 시스템의 신뢰할 수 있는 평가 및 벤치마킹을 가능하게 했다.
• 파이프라인 접근법은 식 생성 및 변수 기반 작업 모두에서 기존 베이스라인을 능가했다.