[논문 리뷰] LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning

Yuhuai Wu, Markus N. Rabe외 4명|arXiv (Cornell University)|2021. 01. 15.

Neural Networks and Applications참고 문헌 51인용 수 9

한 줄 요약

이 논문은 페어스의 추론 원리—연역, 귀납, 추론—를 영감으로 삼아 설계된 세 가지 합성 작업에 대해 트랜스포머를 훈련시는 새로운 사전 훈련 방법인 LIME을 제안한다. 이 방법은 최소한의 계산 비용으로 네 가지 수학적 추론 벤치마크에서 뚜렷한 성능 향상을 이끌어내며, 기존 트랜스포머보다 뛰어나고, LSTMs와 같은 비트랜스포머 아키텍처로도 일반화 가능함을 보여준다.

ABSTRACT

While designing inductive bias in neural architectures has been widely studied, we hypothesize that transformer networks are flexible enough to learn inductive bias from suitable generic tasks. Here, we replace architecture engineering by encoding inductive bias in the form of datasets. Inspired by Peirce's view that deduction, induction, and abduction are the primitives of reasoning, we design three synthetic tasks that are intended to require the model to have these three abilities. We specifically design these tasks to be synthetic and devoid of mathematical knowledge to ensure that only the fundamental reasoning biases can be learned from these tasks. This defines a new pre-training methodology called "LIME" (Learning Inductive bias for Mathematical rEasoning). Models trained with LIME significantly outperform vanilla transformers on four very different large mathematical reasoning benchmarks. Unlike dominating the computation cost as traditional pre-training approaches, LIME requires only a small fraction of the computation cost of the typical downstream task. The code for generating LIME tasks is available at https://github.com/tonywu95/LIME.

연구 동기 및 목표

• 수학적 추론을 위한 유도적 편향이 아키텍처 설계 대신 합성 데이터셋에 기반한 사전 훈련을 통해 학습될 수 있는지 조사하는 것.
• 기존 사전 훈련 방법이 대규모 자연어 코퍼스에 의존하고 주로 최종 작업의 계산 비용을 차지하는 한계를 해결하는 것.
• 연역, 귀납, 추론과 같은 추론 원리를 합성 작업을 통해 학습함으로써 수학적 추론 벤치마크에서의 일반화 능력 향상 여부를 탐색하는 것.
• 사전 훈련의 기여 요소—내용 지식 대비 유도적 편향—를 분리하여 분석하는 것, 특히 추론 작업의 맥락에서.
• 사전 훈련이 어휘 임베딩이나 출력 레이어 가중치를 로드하지 않더라도 효과적일 수 있음을 보여주어 어휘 간 전이가 가능함을 입증하는 것.

제안 방법

• 페어스의 세 가지 추론 원리에 대응하는 세 가지 합성 작업을 설계: 연역(전제에서 결론 유추), 귀납(예시에서 규칙 일반화), 추론(증거와 규칙에서 설명 유추).
• 수학적 지식을 포함하지 않고 논리적 구조에만 중점을 두어, 모델이 기본적인 추론 유도적 편향을 학습하도록 보장한다.
• 단일 GPU에서 약 두 시간이면 충분한 최소한의 계산으로 표준 트랜스포머 모델을 이러한 합성 작업에 대해 사전 훈련한다.
• 같은 사전 훈련된 모델을 어휘 임베딩이나 출력 레이어를 재초기화하지 않고 다양한 최종 수학적 추론 벤치마크에 적용한다.
• 커리큘럼 학습 원칙을 적용하여 도메인 특화 작업에 대해 피니팅하기 전에 기본 추론 기술을 먼저 학습시킨다.
• 네 가지 벤치마크인 IsarStep, HOList Skip-tree, MetaMathStep, 그리고 LeanStep에서 성능을 평가하며, 초기화된 모델과 표준 사전 훈련 기준 모델과 비교한다.

실험 결과

연구 질문

• RQ1 수학적 추론을 위한 유도적 편향이 아키텍처 수정 대신 합성 데이터셋의 형태로 효과적으로 표현될 수 있는가?
• RQ2 연역, 귀납, 추론을 모방하는 합성 추론 작업에 대해 사전 훈련을 수행하면 최종 수학적 추론 성능에 측정 가능한 향상이 이루어지는가?
• RQ3 LIME 사전 훈련이 전통적 사전 훈련 방법에 비해 계산 비용의 일부분으로서의 성능 향상을 이끌 수 있는가?
• RQ4 LIME 사전 훈련의 이점은 LSTMs와 같은 비트랜스포머 아키텍처로도 전이 가능한가?
• RQ5 LIME에서 얻는 성능 향상의 주요 기여 요소가 사전 훈련 데이터에서의 내용 기억이 아닌, 유도적 편향 학습에 기인하는 정도는 어느 정도인가?

주요 결과

• IsarStep에서 LIME 사전 훈련으로 상위 1위 정확도가 20.4%에서 26.9%로 상승하여 상대적 향상률 31.9%를 기록했다.
• LeanStep에서 LIME은 상위 1위 정확도를 15.5%에서 29.8%로 끌어올려 상대적 향상률 92.3%를 기록했다.
• 이 방법은 단일 GPU에서 약 두 시간의 훈련만으로도 충분했으며, 최종 작업의 계산 비용에 비해 극히 미미한 비용을 차지했다.
• 피니팅 단계에서 어휘 임베딩이나 출력 레이어 가중치를 로드하는 것이 성능 향상에 크게 기여하지 않았으며, 이는 모델이 작업 특화 지식이 아닌 일반적인 유도적 편향을 학습했음을 시사한다.
• LIME는 LSTMs의 성능 향상에도 기여했지만, 성능 향상 폭은 더 작았다—기본 LSTM의 경우 상위 1위 정확도가 5.5%에서 6.9%로 상승했고, 어텐션을 갖춘 LSTM의 경우 12.3%에서 13.4%로 상승했다—이는 트랜스포머가 합성 작업에서 더 강력한 유도적 편향을 학습할 수 있는 능력을 지녔음을 보여준다.
• 결과적으로 트랜스포머 아키텍처가 데이터 설계를 통해 강력한 유도적 편향을 학습할 수 있을 정도로 유연함을 지녔으며, 이는 유도적 편향이 아키텍처가 아닌 데이터를 통해 표현될 수 있다는 가설을 지지한다.