[논문 리뷰] Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning

Christopher Michael Rytting, David Wingate|arXiv (Cornell University)|2021. 10. 05.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 T5와 같은 대규모 언어 모델(Large Language Models, LLMs)이 객체 조작 및 탐색과 같은 추상적 텍스트 추론 작업에서 소수의 예제로 일반화할 수 있도록 하는 강력한 인덕티브 바이어스로 기능할 수 있음을 보여준다. 구조적 추론 데이터셋에 대해 피나이팅(fine-tuning)을 수행함으로써, 모델는 복합적 학습을 보이며 새로운 시나리오로 외삽하고, 가중치에 인코딩된 암묵적 세계 지식을 통해 인간과 유사한 일반화를 보여준다.

ABSTRACT

Large natural language models (such as GPT-3 or T5) demonstrate impressive abilities across a range of general NLP tasks. Here, we show that the knowledge embedded in such models provides a useful inductive bias, not just on traditional NLP tasks, but also in the nontraditional task of training a symbolic reasoning engine. We observe that these engines learn quickly and generalize in a natural way that reflects human intuition. For example, training such a system to model block-stacking might naturally generalize to stacking other types of objects because of structure in the real world that has been partially captured by the language describing it. We study several abstract textual reasoning tasks, such as object manipulation and navigation, and demonstrate multiple types of generalization to novel scenarios and the symbols that comprise them. We also demonstrate the surprising utility of extit{compositional learning}, where a learner dedicated to mastering a complicated task gains an advantage by training on relevant simpler tasks instead of jumping straight to the complicated task.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 상징적 추론 엔진을 훈련하는 데 효과적인 인덕티브 바이어스로 기능할 수 있는지 조사하기 위해.
• 표준 훈련/테스트 분할을 초월한 일반화 평가, 즉 기수, 객체, 어근의 일반화를 포함하여.
• 더 단순한 하위작업을 먼저 학습한 후 복합적인 복합 작업으로 조합하는 복합적 학습의 이점 검토.
• LLMs가 직관적 추론을 지원하는 데 기여하는 암묵적 세계 지식을 얼마나 잘 인코딩하고 있는지 평가하기 위해.
• LLMs가 자연어 기술 설명으로부터 상징적 규칙을 학습하고 일반화할 수 있음을 입증하여 연결주의적 AI와 상징적 AI를 연결하기 위해.

제안 방법

• 객체와 상태의 상징적 조작을 포함하는 추상적 텍스트 추론 작업의 세트에 T5를 피나이팅하여.
• 다중 일반화 축을 통해 내삽과 외삽을 테스트하기 위해 체계적인 변형을 가진 추론 데이터셋을 설계하여.
• 더 단순한 하위작업을 먼저 학습한 후 복합적인 복합 작업으로 조합함으로써 교육 곡선 학습(커리큘럼 학습)을 구현하여.
• 제로샷 및 소수의 예제 평가를 통해 새로운 객체 유형, 관계 및 작업 구조로의 일반화 측정을 위해.
• 외부 분포 성능 분 析를 통해 규칙 학습과 복합적 추론을 평가하기 위해.
• 구조적 프롬프팅과 순서열 생성을 활용하여 자연어 기술 설명을 상징적 행동으로 매핑하기 위해.

실험 결과

연구 질문

• RQ1 LLMs는 상징적 추론 작업에서 새로운 객체 유형과 관계로 얼마나 잘 일반화할 수 있는가?
• RQ2 더 단순한 하위작업을 학습함으로써 복잡한 복합 추론 작업에서의 성능과 샘플 효율성이 어떻게 향상되는가?
• RQ3 LLMs는 서로 다른 추론 기술(예: 조작 및 탐색)을 학습하고 조합하여 새로운, 알려지지 않은 복합 작업을 해결할 수 있는가?
• RQ4 사전 훈련된 LLMs의 인덕티브 바이어스는 추상적 추론에서 인간과 유사한 일반화를 어떻게 지원하는가?
• RQ5 계통적인 분포 이동에 따라 모델의 성능가 어떻게 붕괴되는가, 그리고 이는 그들의 추론 메커니즘에 대해 무엇을 드러내는가?

주요 결과

• 모델는 객체 일반화 및 기수 외삽을 포함한 여러 축에서 강력한 소수의 예제 일반화를 달성하여, 사전 훈련된 LLMs에서 유래한 견고한 인덕티브 바이어스를 보여주었다.
• 복합적 학습은 전체 작업에 직접 훈련하는 것보다 샘플 효율성과 최종 성능 모두에서 크게 향상시켰다.
• 모델는 새로운 객체 유형과 관계로 자연스럽게 일반화했으며, 이는 LLM의 가중치에 내장된 세계 지식이 직관적 추론을 지원한다는 것을 시사한다.
• 새로운 기호 조합과 규칙 조합으로 테스트한 결과 성능이 높게 유지되어, 모델가 패턴 암기 대신 추상적이고 복합적인 규칙을 학습했다는 것을 보여주었다.
• 모델의 추론 행동은 인간의 직관과 일치했으며, 언어의 구조적 패턴 덕분에 블록 쌓기 작업을 다른 객체 유형으로 올바르게 일반화하는 등.
• 계통적인 데이터셋 설계를 통해 일반화를 정밀하게 측정할 수 있었고, 이는 모델의 추론이 상징적 추론과 일치하는 방식으로 분포 이동에 민감함을 드러냈다.