[논문 리뷰] NT5?! Training T5 to Perform Numerical Reasoning

Pengjian Yang, Ying-Ting Chen외 2명|arXiv (Cornell University)|2021. 04. 15.

Topic Modeling참고 문헌 8인용 수 10

한 줄 요약

이 논문은 T5-Small를 수치 추론에 대해 적응시키기 위해 합성 수치(NUM) 및 텍스트(TXT) 데이터셋과 SQuAD에서 사전 훈련한 후 DROP에서 미세조정하는 순차적 사전 훈련 프레임워크인 NT5를 제안한다. 이 방법은 단지 60M 파라미터를 사용하고 수동으로 기호 모듈을 설계하지 않으면서도 GenBERT와 같은 더 큰 모델에 가까운 성능을 달성하여 DROP에서 조정된 F1 점수 70.83을 기록한다.

ABSTRACT

Numerical reasoning over text (NRoT) presents unique challenges that are not well addressed by existing pre-training objectives. We explore five sequential training schedules that adapt a pre-trained T5 model for NRoT. Our final model is adapted from T5, but further pre-trained on three datasets designed to strengthen skills necessary for NRoT and general reading comprehension before being fine-tuned on the Discrete Reasoning over Text (DROP) dataset. The training improves DROP's adjusted F1 performance (a numeracy-focused score) from 45.90 to 70.83. Our model closes in on GenBERT (72.4), a custom BERT-Base model using the same datasets with significantly more parameters. We show that training the T5 multitasking framework with multiple numerical reasoning datasets of increasing difficulty, good performance on DROP can be achieved without manually engineering partitioned functionality between distributed and symbol modules.

연구 동기 및 목표

• 하이브리드 신경-기호 아키텍처에 의존하지 않고 T5와 같은 사전 훈련된 순차적-순차적 모델의 수치 추론에 대한 성능을 향상시키기 위해.
• 합성 및 일반 독해 테스트 데이터셋에서의 순차적 사전 훈련이 순수 신경 모델 내부에 수치 추론 능력을 효과적으로 내재시킬 수 있는지 조사하기 위해.
• 검증 데이터셋 선택(_DROP vs. 합성 데이터셋_)이 모델 일반화 및 성능에 미치는 영향을 평가하기 위해.
• 다중 작업 사전 훈련이 순차적 훈련보다 DROP에서의 성능을 향상시키는지 여부를 판단하기 위해.
• DROP 벤치마크에서 더 큰 전용 모델인 GenBERT 및 QDGAT-ALBERT와 비교하여 작은 T5 모델의 성능을 벤치마킹하기 위해.

제안 방법

• 이 방법은 순차적 훈련 파이프라인을 사용한다: 먼저 합성 NUM 및 TXT 데이터셋에서 사전 훈련한 후 SQuAD에서 사전 훈련하고, 마지막으로 DROP 및 DROP 분류 작업에서 미세조정한다.
• 각 단계에서 온도 스케일링과 데이터셋 소스를 식별하는 데 사용되는 특수 토큰을 사용하여 다중 작업 훈련을 적용한다.
• 모델는 T5-Small(60M 파라미터)에서 초기화되며, 작업별 프롬프트 템플릿을 사용하여 표준 T5 텍스트-투-텍스트 목표로 훈련된다.
• 일부 검증은 DROP 개발 세트 또는 합성 데이터셋 개발 세트에서 수행되어 일반화 및 모델 선택 성능를 비교한다.
• 최종 모델은 DROP 및 유도된 분류 작업에서 미세조정되며, 검증 전략과 다중 작업 스케줄링에 대한 추론 연구가 함께 이루어진다.
• 성능 평가에는 질문 유형별로 분해된 F1 점수, 정확도(F1), 정확도(EM) 등 DROP의 조정된 F1 점수를 사용한다.

실험 결과

연구 질문

• RQ1 기호 모듈 통합 없이 순수 신경 T5 모델이 수치 추론에 대해 강력한 성능을 달성할 수 있는가?
• RQ2 합성 수치 및 텍스트 데이터셋에서의 순차적 사전 훈련이 표준 미세조정 대비 DROP에서의 일반화 및 성능 향상에 기여하는가?
• RQ3 검증 데이터셋 선택(DROP vs. 합성 데이터셋)이 모델 선택 및 최종 성능에 미치는 영향은 어떠한가?
• RQ4 사전 훈련 단계에 SQuAD를 포함시키면 독해 능력과 수치 추론 능력이 어느 정도 향상되는가?
• RQ5 모든 데이터셋을 동시에 다중 작업 사전 훈련하면 순차적 훈련에 비해 성능이 떨어지는가?

주요 결과

• 최고 성능을 보인 모델은 DROP 테스트 세트에서 조정된 F1 점수 70.83을 기록하였으며, 기준 T5-Small의 45.90에 비해 상당한 향상이다.
• 합성 NUM, TXT, SQuAD에서의 순차적 사전 훈련 이후 수치 질문에 대한 성능은 기준값 31.83 F1에서 70.39 F1로 상승하였다.
• 사전 훈련 단계에서 합성 데이터셋(NUM/TXT)을 검증 세트로 사용할 경우, DROP 개발 세트를 사용할 경우보다 더 우수한 일반화 성능(3.37점 F1 우수성, 50.32 vs. 46.95)을 보였다.
• 사전 훈련 단계에 SQuAD를 추가하면 평균 독해 능력 F1 점수가 3.06점 향상되었으며, 수치 추론 성능에 큰 악영향을 주지 않았다.
• 모든 데이터셋을 동시에 다중 작업 사전 훈련하면 순차적 훈련 대비 F1 점수 약 6점 저하로 인해 성능이 열등했으며, 이는 단계별 사전 훈련이 더 효과적임을 시사한다.
• 6000만 개의 파라미터만을 사용하여도 모델은 강력한 성능(67.0 EM, 70.8 F1)을 달성하였으며, 기호 모듈 없이도 GenBERT(72.4 F1)에 가까운 성능을 기록하였다.