[논문 리뷰] Mapping to Declarative Knowledge for Word Problem Solving

Subhro Roy, Dan Roth|arXiv (Cornell University)|2017. 12. 26.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 술어적 수학 규칙으로의 매핑을 잠재 변수로 모델링함으로써 해석 가능하고 개념 인식 능력을 갖춘 해결 과정 생성을 가능하게 하는 지식 보강 프레임워크를 제안한다. 중간 단계의 고비용 애너테이션 없이도 작동하며, 차원 분석 및 부분집합 관계와 같은 개념에 대한 술어적 규칙을 통해 강력한 추상화를 학습함으로써 편향된 훈련 데이터에서도 더 잘 일반화한다.

ABSTRACT

Math word problems form a natural abstraction to a range of quantitative reasoning problems, such as understanding financial news, sports results, and casualties of war. Solving such problems requires the understanding of several mathematical concepts such as dimensional analysis, subset relationships, etc. In this paper, we develop declarative rules which govern the translation of natural language description of these concepts to math expressions. We then present a framework for incorporating such declarative knowledge into word problem solving. Our method learns to map arithmetic word problem text to math expressions, by learning to select the relevant declarative knowledge for each operation of the solution expression. This provides a way to handle multiple concepts in the same problem while, at the same time, support interpretability of the answer expression. Our method models the mapping to declarative knowledge as a latent variable, thus removing the need for expensive annotations. Experimental evaluation suggests that our domain knowledge based solver outperforms all other systems, and that it generalizes better in the realistic case where the training data it is exposed to is biased in a different way than the test data.

연구 동기 및 목표

• 해석 가능성과 강건성을 향상시키기 위해 술어 수학 지식을 통합한 산술 단어 문제 해결 방법을 개발하는 것.
• 다양한 언어적 패턴을 통해 일반화할 수 있는 추상화를 학습함으로써 개념적으로 편향된 훈련 데이터의 과제를 해결하는 것.
• 중간 추론 단계에 대한 고비용 애너테이션에 의존도를 줄이기 위해 규칙 선택을 잠재 변수로 모델링하는 것.
• 평가 및 훈련을 지원하기 위해 1,492개의 산술 단어 문제로 구성된 새로운, 덜 편향된 데이터셋을 만들기 위한 것.
• 한 번의 문제에서 차원 분석, 부분집합 관계, 단위 호환성과 같은 여러 수학 개념을 동시에 처리할 수 있도록 하는 것.

제안 방법

• 모델은 각 연산에 대한 술어 규칙 선택을 잠재 변수로 간주하여 중간 추론 단계에 대한 애너테이션이 필요 없도록 한다.
• 자연어 기술서를 수식으로 매핑하기 위해 먼저 관련 수학 개념(예: 차원 분석)을 예측한 후 적절한 술어 규칙을 선택한다.
• 하위관계(부분집합 관계), 단위 호환성, 비율 구성 요소와 같은 도메인 특화 술어 규칙을 통합한다.
• 해결 후보를 탐색하기 위해 범위가 1,000인 빔 서치 디코더를 사용하며, 성능은 작은 빔 크기(예: 100)에서도 안정적이다.
• 공명사슬 및 수치 단위 탐지 기능은 잠재적 정렬을 통해 모델링되어 명시적 애너테이션에 대한 의존도를 감소시킨다.
• 핵심 참조 해결, 하위관계 탐지, 단위 기반 필터링을 결합하기 위해 확률 모델을 사용하여 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 지식 보강 접근 방식이 데이터 편향 상황에서도 종래의 엔드 투 엔드 학습 모델보다 산술 단어 문제 해결에서 뛰어난 성능을 보일 수 있는가?
• RQ2 중간 단계 애너테이션이 필요 없이도 술어 규칙 선택의 잠재 변수 모델링이 얼마나 해석 가능성을 향상시킬 수 있는가?
• RQ3 훈련 데이터와 테스트 데이터의 언어적 편향이 다를 경우, 모델이 개념적으로 유사한 문제에 얼마나 잘 일반화되는가?
• RQ4 외부 수치 탐지 및 비율 구성 요소 파싱을 위한 규칙 기반 시스템이 순수 데이터 기반 모델보다 성능을 향상시킬 수 있는가?
• RQ5 차원 분석 및 부분집합 관계와 같은 수학 개념에 대한 술어 규칙을 통합할 경우 해결 정확도에 어떤 영향을 미치는가?

주요 결과

• 이 논문에서 제안한 방법, 'Knowledge'는 표준 벤치마크에서 모든 기존 시스템을 능가하며 산술 단어 문제 해결 정확도가 뛰어나다.
• 훈련 데이터와 테스트 데이터의 언어적 편향이 다를 경우, 이전 시스템보다 모델이 훨씬 더 잘 일반화된다.
• 빔 크기가 100인 경우에도 강력한 성능을 기록함으로써 고비용 빔 서치가 강력한 결과를 내기 위해 반드시 필요한 것은 아님을 시사한다.
• 오류의 26%는 불필요한 수치 탐지 오류에서 기인하며, 단위와 연결되지 않은 불필요한 수치 값을 식별하는 데에 핵심적인 한계를 드러낸다.
• 다른 26%의 오류는 비율 구성 요소 파싱 오류에서 기인하여, 비율 표현을 정규화하는 데 어려움이 있음을 보여준다.
• 핵심 참조 오류는 실패의 22%를 차지하며, '팀원'과 같은 명사구를 '사람'과 연결하는 등 대명사나 명사구 연결에 여전히 도전 과제가 있음을 보여준다.