[논문 리뷰] Critical Thinking for Language Models

Gregor Betz, Voigt, Christian외 1명|arXiv (Cornell University)|2020. 09. 15.

Topic Modeling참고 문헌 36인용 수 12

한 줄 요약

이 논문은 언어 모델의 비판적 사고 교육 과정을 구축하기 위해 추론적으로 타당한 논증의 합성 코퍼스를 소개한다. GPT-2는 모드 폈온텐스와 대우와 같은 핵심 논리 체계로 훈련되며, 강력한 전이 학습 성능를 보이며 GLUE 및 SNLI 벤치마크에서 최대 15%p의 성능 향상을 기록한다.

ABSTRACT

This paper takes a first step towards a critical thinking curriculum for neural auto-regressive language models. We introduce a synthetic corpus of deductively valid arguments, and generate artificial argumentative texts to train and evaluate GPT-2. Significant transfer learning effects can be observed: Training a model on three simple core schemes allows it to accurately complete conclusions of different, and more complex types of arguments, too. The language models generalize the core argument schemes in a correct way. Moreover, we obtain consistent and promising results for NLU benchmarks. In particular, pre-training on the argument schemes raises zero-shot accuracy on the GLUE diagnostics by up to 15 percentage points. The findings suggest that intermediary pre-training on texts that exemplify basic reasoning abilities (such as typically covered in critical thinking textbooks) might help language models to acquire a broad range of reasoning skills. The synthetic argumentative texts presented in this paper are a promising starting point for building such a "critical thinking curriculum for language models."

연구 동기 및 목표

• 언어 모델을 고품질의 합성 추론 예시로 훈련시킬 경우 일반적 추론 능력 향상 여부를 조사하는 것.
• 비판적 사고 훈련을 위한 기초 자료로 사용할 수 있는 유효한 연역적 산문 논증의 합성 코퍼스를 개발하는 것.
• 핵심 논리 체계로의 중간 단계 사전 훈련이 최종 NLU 작업에서 전이 학습 효과를 유도하는지 평가하는 것.
• 언어 모델이 학습 분포를 초월해 학습된 논리 패턴을 일반화할 수 있는지 탐색하는 것.
• 이러한 교육 과정이 다양한 추론 벤치마크, 특히 GLUE, SNLI, LogiQA에 미치는 영향을 평가하는 것.

제안 방법

• 일반화된 모드 폈온텐스, 대우, 체인 룰과 같은 핵심 논리 체계를 포함한 자연어 템플릿 기반으로 추론적으로 타당한 논증의 합성 코퍼스를 구축한다.
• 8개의 GPU, 2 에포크, 배치 크기 2로 설정된 하이퍼파라미터를 사용해 인과적 언어 모델링 목적함수로 GPT-2를 이 코퍼스에 대해 훈련시킨다.
• 훈련 중에 볼 수 없었던 논증 유형, 예를 들어 딜레마나 드 모르간의 법칙과 같은 복잡한 형태의 결론을 완성할 수 있는 능력을 평가한다.
• GLUE 및 SNLI와 같은 표준 NLU 벤치마크에서 제로샷 성능을 테스트하여 전이 학습 효과를 측정한다.
• 수동 프롬프트와 제어된 템플릿을 사용해 훈련 도메인 외부로의 일반화 능력과 일관된 입력 포맷팅을 확보한다.
• 구성 가능한 템플릿 인프라를 통해 향후 확장 사례(예: 명제 추론 체계, 모달 추론, 오류 탐지)를 코퍼스에 보완한다.

실험 결과

연구 질문

• RQ1 정제된 추론적으로 타당한 논증 코퍼스로 언어 모델을 훈련시키면 다양한 논증 유형에 걸쳐 추론 일반화 능력 향상이 이루어지는가?
• RQ2 핵심 논리 체계로의 중간 단계 사전 훈련이 GLUE 및 SNLI와 같은 표준 NLU 벤치마크에서 제로샷 성능으로 얼마나 전이되는가?
• RQ3 학습된 논리 패턴의 일반화 능력이 언어 모델링 능력에 의존하는가?
• RQ4 왜 이 논증 코퍼스로의 훈련은 더 의미적으로 복잡한 작업인 논증 이해 및 LogiQA에서 성능 향상을 이끌지 못하는가?
• RQ5 합성적이고 규칙 기반의 논증 코퍼스가 언어 모델을 위한 보다 넓은 '비판적 사고 교육 과정'의 기초로 타당한가?

주요 결과

• 합성된 추론적으로 타당한 논증 코퍼스로 GPT-2를 훈련시키면 복잡한 논증 유형(훈련 중에 볼 수 없음)의 결론을 정확하게 완성할 수 있는 강력한 전이 학습 효과가 나타난다.
• 모델는 모드 폈온텐스, 대우, 체인 룰과 같은 핵심 논리 체계를 새로운 복잡한 논증 형태로도 정확히 일반화하여 내재화된 추론 패턴을 보여준다.
• 논증 코퍼스에 대한 사전 훈련 이후 GLUE 벤치마크에서 제로샷 성능이 최대 15%p 향상되어 광범위한 최종 작업에서의 추론 능력 향상이 뚜렷하게 나타난다.
• SNLI 벤치마크에서도 일관된 향상이 관찰되어 자연어 추론 능력이 향상됨을 확인한다.
• 더 의미적으로 요구가 높은 Argument Reasoning Comprehension 및 LogiQA 작업에서는 성능 향상이 관찰되지 않아 고차원적 의사소통 또는 맥락 기반 추론 처리에 한계가 있음을 시사한다.
• 결과는 기본 추론 기술의 예시로 중간 단계 사전 훈련을 수행할 경우 모델의 추론 능력이 다양한 작업 범위에서 크게 향상될 수 있다는 가설을 지지한다.