[논문 리뷰] Program Induction by Rationale Generation : Learning to Solve and Explain Algebraic Word Problems

Ling Wang, Dani Yogatama외 2명|arXiv (Cornell University)|2017. 05. 11.

Topic Modeling참고 문헌 18인용 수 29

한 줄 요약

이 논문은 대수학적 단어 문제를 해결하기 위해 자연어 추론 과정(수식을 포함한 단계별 설명)을 생성하는 프로그램 유도 프레임워크를 제안한다. 추론 과정을 잠재 변수로 모델링하여 프로그램 탐색을 이끌면, 추론의 유창성과 정답 정확도가 향상되며, 새로운 100,000개 샘플로 구성된 수학 문제 데이터셋에서 기준 신경망 모델보다 유의미하게 높은 성능을 달성한다.

ABSTRACT

Solving algebraic word problems requires executing a series of arithmetic operations---a program---to obtain a final answer. However, since programs can be arbitrarily complicated, inducing them directly from question-answer pairs is a formidable challenge. To make this task more feasible, we solve these problems by generating answer rationales, sequences of natural language and human-readable mathematical expressions that derive the final answer through a series of small steps. Although rationales do not explicitly specify programs, they provide a scaffolding for their structure via intermediate milestones. To evaluate our approach, we have created a new 100,000-sample dataset of questions, answers and rationales. Experimental results show that indirect supervision of program learning via answer rationales is a promising strategy for inducing arithmetic programs.

연구 동기 및 목표

• 대수학적 단어 문제의 질문-답안 쌍으로부터 복잡한 산술 프로그램을 유도하는 과제를 해결하기 위해.
• 해결 과정을 체계화하는 자연어 추론을 생성함으로써 모델의 해석 가능성과 학습 효율성을 향상시키기 위해.
• 100,000개의 대수학적 단어 문제로 구성된 대규모 고품질 데이터셋을 구축하기 위해.
• 문제 해결을 위한 추론과 기저 프로그램을 동시에 생성하는 시퀀스-투-시퀀스 모델을 개발하기 위해.
• 직접적인 정답 예측보다 추론을 통한 간접적 지도 학습이 더 나은 프로그램 유도를 가능하게 함을 입증하기 위해.

제안 방법

• 모델은 어텐션과 복사 메커니즘을 갖춘 시퀀스-투-시퀀스 아키텍처를 사용하여 자연어와 기호 표현을 포함한 추론을 생성한다.
• 관찰된 추론을 생성하고 정확한 정답에 도달하는 데 가능한 프로그램을 탐색하기 위해 히우리스틱 검색 전략을 적용한다.
• 추론은 정확한 산술 프로그램을 탐색하는 데 도움을 주는 잠재 변수로 간주되며, 중간 목표 지점 역할을 한다.
• 입력 복사 및 출력 복사 메커니즘을 통합하여 추론 내 변수와 값의 생성을 향상시킨다.
• 실행했을 때 추론과 최종 정답을 생성하는 가능한 연산 시퀀스를 탐색함으로써 프로그램을 유추한다.
• 추론의 유창성(비율은 BLEU로 측정)과 정답 정확도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 중간 단계의 추론을 생성하는 것이 대수학적 단어 문제 해결을 위한 산술 프로그램 유도에 도움이 될 수 있는가?
• RQ2 직접적인 정답 예측에 비해 추론을 잠재적 구조로 사용할 경우 프로그램 유도의 탐색 공간이 줄어들 수 있는가?
• RQ3 명시적인 프로그램 지도 없이도 신경 시퀀스 모델이 자연스럽고 유창한 추론을 생성하고 정확한 프로그램을 유추할 수 있는가?
• RQ4 추론을 기반으로 한 프로그램 유도가 종단 간 정답 예측에 비해 정확도와 해석 가능성 측면에서 어떻게 비교되는가?
• RQ5 복사 메커니즘과 히우리스틱 검색 전략이 모델의 정확한 추론과 해결 과정 생성 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 모델은 최신의 시퀀스-투-시퀀스 모델보다 유의미하게 뛰어난 성능을 보이며, 대수학적 단어 문제 해결 과제에서 정확도를 두 배로 높였다.
• 모든 기준 모델이 거의 우연 수준(약 20% 정확도)의 성능을 보이며, 추론 지도 없이 직접 정답을 예측하는 것은 효과적이지 않음을 시사한다.
• 모델은 모든 변형 중에서 가장 높은 BLEU 점수를 기록하여 추론 생성의 뛰어난 유창성과 정확성을 입증했다.
• 출력 복사 메커니즘의 포함은 BLEU 점수를 향상시켰지만, 퍼플렉서티에는 거의 영향을 주지 않았다. 왜냐하면 복사된 토큰도 소프트맥스나 입력 복사로 생성될 수 있기 때문이다.
• 모델은 간단한 문제를 한두 단계 내에 성공적으로 해결할 수 있으며, 예를 들어 '10조각 케이크에서 120조각'과 같은 문제에 대해 '120 / 10 = 12 케이크. 정답은 C'와 같은 추론을 생성한다.
• 히우리스틱 검색 전략은 필수적이다. 추론 모델링 없이서는 프로그램 유도에 효과적으로 작용할 수 없을 정도로 탐색 공간이 너무 넓어진다.