[논문 리뷰] FORTAP: Using Formulae for Numerical-Reasoning-Aware Table Pretraining.

Zhoujun Cheng, Haoyu Dong외 5명|arXiv (Cornell University)|2021. 09. 15.

Spreadsheets and End-User Computing참고 문헌 29인용 수 6

한 줄 요약

FORTAP는 스프레드시트 수식을 약한 감독 신호로 활용하여 표 내 수치 추론 능력을 향상시키는 새로운 표 미사전학습 방법이다. 수식 재구성 및 수식 예측과 같은 두 가지 수식 인식 미사전학습 작업을 도입함으로써 FORTAP는 셀 유형 분류 및 수식 예측에서 최신 기술 수준의 성능을 달성하며, 구조화된 데이터 내 수치 추론에 수식 감독이 효과적임을 입증한다.

ABSTRACT

Tables store rich numerical data, but numerical reasoning over tables is still a challenge. In this paper, we find that the spreadsheet formula, which performs calculations on numerical values in tables, is naturally a strong supervision of numerical reasoning. More importantly, large amounts of spreadsheets with expert-made formulae are available on the web and can be obtained easily. FORTAP is the first method for numerical-reasoning-aware table pretraining by leveraging large corpus of spreadsheet formulae. We design two formula pretraining tasks to explicitly guide FORTAP to learn numerical reference and calculation in semi-structured tables. FORTAP achieves state-of-the-art results on two representative downstream tasks, cell type classification and formula prediction, showing great potential of numerical-reasoning-aware pretraining.

연구 동기 및 목표

• 표 내 수치 추론 문제를 해결하기 위해, 표에 풍부한 수치 데이터가 존재함에도 불구하고 여전히 어려운 과제에 대응하고자 한다.
• 수치 계산 및 추론 패턴을 코딩한 스프레드시트 수식이 제공하는 자연스러운 감독 신호를 활용하고자 한다.
• 반구조화된 표 내에서 수치 참조 및 계산을 명시적으로 학습하는 미사전학습 프레임워크를 개발하고자 한다.
• 수식 인식 표현 학습을 통해 셀 유형 분류 및 수식 예측과 같은 후행 작업의 성능을 향상시키고자 한다.
• 대규모 수식 코퍼스를 활용하여 수치 추론 인식 능력을 갖춘 표를 미사전학습하는 것이 가능하고 효과적인지 입증하고자 한다.

제안 방법

• FORTAP는 모델이 수치 추론을 학습할 수 있도록 유도하기 위해 수식 재구성 및 수식 예측이라는 두 가지 수식 미사전학습 작업을 도입한다.
• 전문가가 작성한 실제 스프레드시트의 대규모 코퍼스를 활용하며, 이는 수치 연산에 대한 강력한 감독 신호로 기능한다.
• 이 방법은 이러한 수식 작업에 대해 미사전학습된 표 인코더를 피지컬 트레이닝하여 표현을 수치 추론 패턴과 일치시킨다.
• 수식 재구성은 표 셀에서 수식을 마스킹하고 예측하는 것을 포함하고, 수식 예측은 표와 대상 셀이 주어졌을 때 올바른 수식을 예측하는 것을 포함한다.
• 이 방법은 표 구조 내에서 수치 참조(예: 특정 셀 참조) 및 계산(예: SUM, AVERAGE)을 명시적으로 모델링한다.
• FORTAP는 수식 감독을 미사전학습 목표에 통합하여, 인간이 주석 처리한 추론 단계가 필요 없이도 모델이 추론 패턴을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 스프레드시트 수식은 표 미사전학습에서 수치 추론에 효과적인 감독 신호가 될 수 있는가?
• RQ2 수식 인식 미사전학습은 셀 유형 분류 및 수식 예측과 같은 후행 작업의 성능을 향상시킬 수 있는가?
• RQ3 표준 미사전학습 방법과 비교해 FORTAP는 수치 추론 능력을 얼마나 잘 학습하는가?
• RQ4 수식 미사전학습 작업은 모델이 표 내 수치 계산을 이해하고 생성하는 능력을 얼마나 향상시키는가?

주요 결과

• FORTAP는 수식 인식 미사전학습 덕분에 셀 유형 분류에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 수식 예측 작업에서 최신 기술 수준의 결과를 달성하여 향상된 추론 및 생성 능력을 입증한다.
• 수식을 감독 신호로 사용함으로써 모델이 표 내 수치 참조 및 계산을 학습하는 능력이 크게 향상된다.
• 수식 재구성 및 예측이라는 두 가지 수식 미사전학습 작업이 결합되어 수치 추론을 위한 표현 학습이 향상된다.
• 대규모 웹 기반 스프레드시트 수식 코퍼스를 활용하여 인간이 주석 처리한 추론 단계가 없이도 효과적으로 표를 미사전학습할 수 있음을 보여준다.