[논문 리뷰] ELASTIC: Numerical Reasoning with Adaptive Symbolic Compiler

Jiaxin Zhang, Yashar Moshfeghi|arXiv (Cornell University)|2022. 10. 18.

Numerical Methods and Algorithms인용 수 9

한 줄 요약

ELASTIC은 기호 컴파일러 아키텍처를 사용하여 연산자와 피연산자 생성을 분리함으로써 복잡한 수치 추론 작업에서 뛰어난 성능을 내는 새로운 신경 추론 모델이다. FinQA에서 최고 성능 실행 정확도(68.96)와 프로그램 정확도(65.21)를 달성하였고, MathQA에서는 83.00의 성능을 기록하여 재훈련 없이도 도메인 간 일반화 및 확장성에 뛰어난 성능을 보였다.

ABSTRACT

Numerical reasoning over text is a challenging task of Artificial Intelligence (AI), requiring reading comprehension and numerical reasoning abilities. Previous approaches use numerical reasoning programs to represent the reasoning process. However, most works do not separate the generation of operators and operands, which are key components of a numerical reasoning program, thus limiting their ability to generate such programs for complicated tasks. In this paper, we introduce the numEricaL reASoning with adapTive symbolIc Compiler (ELASTIC) model, which is constituted of the RoBERTa as the Encoder and a Compiler with four modules: Reasoning Manager, Operator Generator, Operands Generator, and Memory Register. ELASTIC is robust when conducting complicated reasoning. Also, it is domain agnostic by supporting the expansion of diverse operators without caring about the number of operands it contains. Experiments show that ELASTIC achieves 68.96 and 65.21 of execution accuracy and program accuracy on the FinQA dataset and 83.00 program accuracy on the MathQA dataset, outperforming previous state-of-the-art models significantly.

연구 동기 및 목표

• 장기적이고 다단계적인 프로그램을 포함한 복잡한 수치 추론 작업을 다루는 데에 한계가 있는 기존 모델의 문제를 해결하기 위해.
• 순차적 추론 프로그램 생성 과정에서 연산자와 피연산자를 동시에 생성함으로써 발생하는 누적 오류를 줄이기 위해.
• 재훈련 없이도 다양한 연산자와 동적 피연산자 수를 지원할 수 있도록 도메인에 관계없이 적용 가능한 모델을 설계하기 위해.
• 중간 결과 재사용을 위한 메모리 레지스터를 도입함으로써 추론의 확장성을 향상시키기 위해.
• 다양한 프로그램 길이와 추론 복잡도에서 모델의 견고성 평가하기 위해.

제안 방법

• 입력 텍스트의 문맥적 표현을 추출하기 위해 ELASTIC은 RoBERTa-large를 인코더로 사용한다.
• 컴파일러 모듈은 네 가지 구성 요소로 이루어져 있다: 추론 관리자, 연산자 생성기, 피연산자 생성기, 메모리 레지스터.
• 연산자와 피연산자를 별도로 생성함으로써 장기적인 추론 체인에서 오류 전파를 최소화한다.
• 메모리 레지스터는 이전 하위 프로그램의 실행 결과를 저장하고 검색함으로써 조합적 추론을 가능하게 한다.
• 모델은 문법적으로 올바른 중첩된 기호 형식으로 추론 프로그램을 생성한다.
• 시스템은 각 연산자당 동적 피연산자 수를 지원하여 다양한 도메인으로의 확장성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 연산자와 피연산자 생성을 분리함으로써 장기적이고 복잡한 수치 추론 작업에서의 성능에 어떤 영향을 미치는가?
• RQ2 메모리 레지스터는 다단계 추론 문제에서 모델 성능을 어느 정도 향상시키는가?
• RQ3 다양한 연산자를 지원함으로써 재훈련 없이도 모델이 도메인 간 일반화가 가능한가?
• RQ4 프로그램 길이가 증가함에 따라 성능이 어떻게 떨어지며, ELASTIC은 누적 오류를 어떻게 완화하는가?
• RQ5 프로그램 구조와 중간 결과 재사용은 추론 정확도에 어떤 영향을 미치는가?

주요 결과

• ELASTIC은 FinQA 데이터셋에서 68.96의 실행 정확도와 65.21의 프로그램 정확도를 달성하여 이전 최고 성능 모델을 능가한다.
• MathQA 데이터셋에서 ELASTIC은 83.00의 프로그램 정확도를 기록하여 도전적인 다단계 문제에서 뛰어난 성능을 보였다.
• FinQANet에 비해 더 긴 프로그램에서도 성능 저하가 현저히 적어, 누적 오류 영향이 줄어든 것으로 나타났다.
• 복잡한 프로그램에서도 연산자 생성 정확도가 높게 유지되어, 실패의 주요 원인이 피연산자 오류임을 시사한다.
• 5억 파라미터로만 구성된 ELASTIC이 1370억 파라미터 모델을 능가함으로써 높은 파라미터 효율성을 보였다.
• 제거 실험 결과, 최대 메모리 이격 거리(M-MDD) 측정치를 통해 메모리 레지스터의 필수성을 확인하였으며, 이는 성능 향상과 밀접한 관련이 있었다.