[논문 리뷰] Unit Dependency Graph and its Application to Arithmetic Word Problem Solving

Subhro Roy, Dan Roth|arXiv (Cornell University)|2016. 12. 03.

Natural Language Processing Techniques참고 문헌 10인용 수 17

한 줄 요약

이 논문은 산술 어휘 문제에서 단위 관계를 체계적으로 표현하기 위해 유닛 종속성 그래프(Unit Dependency Graphs, UDGs)를 도입한다. UDGs를 통해 단위 호환성, 비율 관계, 해법 제약 조건을 분해된 추론 프레임워크로 모델링함으로써, 솔버 오류를 10퍼센트 이상 감소시키고 어휘적, 템플릿 변형에 대한 강건성을 향상시켜 이전의 모든 시스템을 능가한다.

ABSTRACT

Math word problems provide a natural abstraction to a range of natural language understanding problems that involve reasoning about quantities, such as interpreting election results, news about casualties, and the financial section of a newspaper. Units associated with the quantities often provide information that is essential to support this reasoning. This paper proposes a principled way to capture and reason about units and shows how it can benefit an arithmetic word problem solver. This paper presents the concept of Unit Dependency Graphs (UDGs), which provides a compact representation of the dependencies between units of numbers mentioned in a given problem. Inducing the UDG alleviates the brittleness of the unit extraction system and allows for a natural way to leverage domain knowledge about unit compatibility, for word problem solving. We introduce a decomposed model for inducing UDGs with minimal additional annotations, and use it to augment the expressions used in the arithmetic word problem solver of (Roy and Roth 2015) via a constrained inference framework. We show that introduction of UDGs reduces the error of the solver by over 10 %, surpassing all existing systems for solving arithmetic word problems. In addition, it also makes the system more robust to adaptation to new vocabulary and equation forms .

연구 동기 및 목표

• 산술 어휘 문제 해결에서 단위 추출의 취약성을 단위 관계를 체계적으로 모델링하여 해결한다.
• 단위 호환성과 비율 관계에 대한 도메인 지식을 통합함으로써 산술 어휘 문제 솔버의 성능을 향상시킨다.
• 더 나은 일반화를 위해 국소적 어휘 및 템플릿 겹침에 대한 의존도를 줄이고 전반적인 단위 종속성에 기반한다.
• 해답 및 희박한 비율 주석을 활용하여 최소한의 주석 데이터로 UDGs를 유도하는 방법을 개발한다.
• 단위 종속성에 대한 제약된 추론을 통해 솔버의 강건성과 정확도를 향상시킨다.

제안 방법

• 양방향으로 연결된 레이블이 부여된 그래프인 유닛 종속성 그래프(Unit Dependency Graphs, UDGs)를 제안한다. 정점은 양과 질문을 나타내며, 간선은 동일 단위(Same Unit), 분자 단위(Num Unit), 분모 단위(Den Unit) 등의 단위 관계를 나타낸다.
• 최소한의 추가 주석을 사용하여 해답 및 몇몇 비율 주석을 활용해 전체 UDG의 구조를 유추하는 분해된 모델을 사용한다.
• UDG 예측과 표현 생성을 통합하는 제약된 추론 프레임워크를 도입하여 해법 표현에서의 단위 일관성을 강제한다.
• 조건부 랜덤 필드(CRF)를 사용한 구조적 예측 접근법을 적용하여 정점 레이블(예: Rate)과 간선 유형(예: Same Unit, Den Unit)을 동시에 예측한다.
• 학습 중 정점과 간선 예측 정확도를 균형 잡기 위해 학습 가능한 초매개변수(λ_vertex 및 λ_edge)를 포함한 손실 함수를 활용한다.
• 완전한 UDG 주석이 해답 표현과 비율 레이블로부터 유도되므로 인간 주석 데이터의 필요성을 최소화하는 약한 지도 학습 전략을 사용한다.

실험 결과

연구 질문

• RQ1 산술 어휘 문제에서 단위 관계를 어떻게 모델링할 수 있을까? 이는 추론 정확도 향상에 기여할 수 있다.
• RQ2 단위 종속성의 그래프 기반 표현이 어휘적 및 템플릿 변형에 대한 산술 어휘 문제 솔버의 강건성을 향상시킬 수 있는가?
• RQ3 기존 솔버에서 일관되지 않은 단위 처리로 인한 오류를 UDGs가 어느 정도 감소시킬 수 있는가?
• RQ4 해답 표현과 희박한 비율 주석을 활용하여 최소한의 인간 주석으로 UDGs를 유도할 수 있는가?
• RQ5 단위 종속성 정보를 통합할 경우 어휘 및 수식 형태가 새로운 문제에 대해 솔버의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• UDGs를 사용하는 제안된 UnitDep 시스템은 산술 어휘 문제 벤치마크에서 이전 최고 성능을 기록한 LCA++ 시스템 대비 오류를 10퍼센트 이상 감소시켰다.
• UDGs의 도입으로 어휘 겹침 감소에 5퍼센트, 템플릿 겹침 감소에 5퍼센트의 강건성 향상이 이루어져 일반화 능력 향상이 입증되었다.
• λ_vertex와 λ_edge를 모두 0으로 설정하는 것(즉, LCA++와 동일한 경우)은 성능 저하를 초래하여 UDG 내 정점과 간선 정보가 모두 성능 향상에 필수적임을 확인했다.
• LCA++가 실패하는 10퍼센트의 경우에서 UnitDep는 단위 일관성 검사를 통해 불필요한 양을 정확히 식별하고 제외했다.
• UnitDep의 주요 오류 원인은 여분의 양 탐지(50퍼센트)와 수학 이해 부족(23퍼센트)이었으며, 이는 실체 및 개념 모델링 향상 여지를 시사한다.
• Illinois 및 Commoncore 데이터셋에서 UnitDep는 LCA++ 대비 각각 1퍼센트 및 4퍼센트의 절대 정확도 향상을 기록하여 다양한 벤치마크에서 일관된 성능 향상을 확인했다.