[논문 리뷰] Solving General Arithmetic Word Problems

Subhro Roy, Dan Roth|arXiv (Cornell University)|2016. 08. 04.

Natural Language Processing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 표현 트리와 양 스키마를 사용하여 일반 산술 어휘 문제를 해결하기 위한 새로운 템플릿 기반 접근법을 제시한다. 복잡한 문제를 계층적 분류 작업으로 분해하고 세계 지식에서 유도된 제약 조건을 적용한 추론을 통해, 사전에 정의된 템플릿이나 동사 카테고리에 대한 추가 학습 데이터 없이도 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

This paper presents a novel approach to automatically solving arithmetic word problems. This is the first algorithmic approach that can handle arithmetic problems with multiple steps and operations, without depending on additional annotations or predefined templates. We develop a theory for expression trees that can be used to represent and evaluate the target arithmetic expressions; we use it to uniquely decompose the target arithmetic problem to multiple classification problems; we then compose an expression tree, combining these with world knowledge through a constrained inference framework. Our classifiers gain from the use of {\em quantity schemas} that supports better extraction of features. Experimental results show that our method outperforms existing systems, achieving state of the art performance on benchmark datasets of arithmetic word problems.

연구 동기 및 목표

• 사전에 정의된 템플릿이나 추가 애너테이션에 의존하지 않고 일반 산술 어휘 문제를 해결할 수 있는 알고리즘적 접근법을 개발하는 것.
• 모든 사칙연산을 포함하는 다단계 문제를 포함한 문제 유형 간 일반화를 가능하게 하는 것.
• 관련 의미적 및 수치적 정보를 포착하는 양 스키마 개념을 도입하여 특징 추출 및 추론을 향상시키는 것.
• 표현 트리 구축을 세계 지식에서 유도된 제약 조건(예: 답의 양수성, 정수성)을 반영한 공동 추론 문제로 공식화하는 것.
• 특히 새로운 문제 유형에 대한 제로샷 일반화 성능을 향상시켜 기존 시스템을 초월하는 것.

제안 방법

• 산술 표현을 표현 트리의 단조성 구조로 표현하여, 양 간의 이원 연산으로 해답을 유일하게 분해할 수 있도록 한다.
• 표현 트리 내 두 양 간의 최소 공통 조상(LCA) 연산을 예측하기 위한 이진 분류 작업의 시리즈로 문제를 공식화한다.
• 각 양에 대해 의미적 및 수치적 특징을 추출하고 표현하기 위해 양 스키마를 사용하여 특징의 관련성과 일반화 능력을 향상시킨다.
• 합리성 및 배경 지식 제약 조건(예: '얼마나 많은가?' 질문에 대한 답은 양수여야 함)을 반영한 목적 함수를 사용하여 분류기 출력을 통합하는 제약 조건이 있는 추론 프레임워크를 구축한다.
• 문제 구조의 冗잔시를 활용하여 표현 트리 조립 과정에서의 정확성과 내성 강도를 향상시킨다.
• 정수성 또는 양수성과 같은 세계 지식 제약 조건을 명시적으로 표현하여 잘못된 예측를 수정하고 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 정의된 식의 템플릿에 의존하지 않고, 다수의 연산을 포함하는 일반 산술 어휘 문제를 해결할 수 있는가?
• RQ2 표현 트리는 어떻게 복잡한 산술 어휘 문제를 더 단순하고 학습 가능한 분류 작업으로 고유하게 분해할 수 있는가?
• RQ3 양 스키마는 산술 어휘 문제 해결에서 특징 추출 및 일반화 능력을 어느 정도 향상시키는가?
• RQ4 세계 지식 기반의 제약 조건이 있는 추론은 특히 다단계 문제에서 예측 정확도 향상에 얼마나 효과적인가?
• RQ5 새로운 조합의 연산을 포함하는 다단계 문제와 같은 새로운 문제 유형으로 일반화할 수 있는가?

주요 결과

• 제안된 방법은 두 벤치마크 데이터셋(IL 및 CC)에서 최고 성능을 기록하였으며, IL 데이터셋에서 이전 시스템 대비 20% 이상의 절대적 성능 향상을 달성했다.
• CC 데이터셋에서 정수성 및 양수성 제약 조건을 적용한 결과, 제약 조건이 없는 버전 대비 성능이 15% 이상 향상되었다.
• 특정 문제 유형이 학습 중에 나타나지 않았더라도, 시스템은 다단계 문제에 대해 효과적으로 일반화한다.
• Kushmann 등(2014)의 템플릿 기반 시스템은 CC 데이터셋에서 새로운 문제 유형으로 인해 성능이 떨어지지만, 제안된 방법은 여전히 경쟁력을 유지한다.
• 양 스키마 추출 오류는 실패 원인 중 상당 부분을 차지하였으며, IL 데이터셋에서 관련성 분류기의 오류 중 최대 57%를 차지하여未래 연구의 핵심 과제임을 시사한다.
• 이 방법은 드문 또는 알려지지 않은 동사에 대해 유연하게 대응할 수 있으나, 이러한 경우는 여전히 오류율에 기여하며 특히 LCA 연산 분류기에서 두드러진다.