[논문 리뷰] Language Models as Inductive Reasoners

Zonglin Yang, Li Dong외 6명|arXiv (Cornell University)|2022. 12. 21.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 사전에 학습된 언어 모델(PLM)을 사용하여 자연어 사실에서 자연어 규칙을 유추하는 새로운 인도적 추론의 패러다임을 제안한다. 1,200개의 규칙-사실 쌍을 포함하는 DEER 데이터셋과 새로운 평가 지표를 도입한다. 철학적 추론에 영감을 얻은 이 프레임워크는 자동 평가와 인간 평가 모두에서 베이스라인을 능가하며, 형식적 논리 표현 없이도 자연어에서 일반적인 인도적 추론을 수행할 수 있음을 보여준다.

ABSTRACT

Inductive reasoning is a core component of human intelligence. In the past research of inductive reasoning within computer science, formal language is used as representations of knowledge (facts and rules, more specifically). However, formal language can cause systematic problems for inductive reasoning such as disability of handling raw input such as natural language, sensitiveness to mislabeled data, and incapacity to handle ambiguous input. To this end, we propose a new paradigm (task) for inductive reasoning, which is to induce natural language rules from natural language facts, and create a dataset termed DEER containing 1.2k rule-fact pairs for the task, where rules and facts are written in natural language. New automatic metrics are also proposed and analysed for the evaluation of this task. With DEER, we investigate a modern approach for inductive reasoning where we use natural language as representation for knowledge instead of formal language and use pretrained language models as ''reasoners''. Moreover, we provide the first and comprehensive analysis of how well pretrained language models can induce natural language rules from natural language facts. We also propose a new framework drawing insights from philosophy literature for this task, which we show in the experiment section that surpasses baselines in both automatic and human evaluations. We discuss about our future perspectives for inductive reasoning in Section 7. Dataset and code are available at https://github.com/ZonglinY/Inductive_Reasoning.

연구 동기 및 목표

• 형식적 언어와 기호적 추론의 체계적 한계(예: 잘못 레이블링된 데이터에 민감하고, 원시적인 자연어를 처리할 수 없음)를 해결하기 위해.
• 사실과 규칙 모두를 자연어로 표현하는 새로운 패러다임을 제안하여 더 인간에 가까운, 더 민첩한 인도적 추론을 가능하게 하기 위해.
• 이 새로운 패러다임을 지원하기 위해 자연어로 된 고품질의 1,200개 규칙-사건 쌍을 포함하는 새로운 데이터셋인 DEER를 구축하기 위해.
• 자연어 기반 인도적 추론 작업에 특화된 새로운 자동 평가 지표를 개발하기 위해.
• 사전에 학습된 언어 모델가 자연어 관찰에서 일반적인 자연어 규칙을 유도할 수 있는 능력을 종합적으로 평가하기 위해.

제안 방법

• 형식적 논리 표현을 피하고 자연어 사실에서 일반적인 자연어 규칙을 유도하는 새로운 인도적 추론 작업을 제안한다.
• 일상지식과 과학 지식에서 유래한 1,200개의 규칙-사건 쌍을 포함하는 DEER 데이터셋을 구축하며, 인간이 레이블링한 규칙이 관찰된 사실들에 대해 일반화되도록 한다.
• 자연어 기반 인도적 추론에 특화된 새로운 자동 평가 지표(예: 규칙 일반화, 사실 일관성)를 설계한다.
• 철학 문헌에서 영감을 얻은 새로운 추론 프레임워크를 개발하며, 가설 일반화 및 증거 기반 추론과 같은 원칙을 통합한다.
• 소수 샘플 프ompting과 체인 오브 타ught 기법을 사용하여 최신의 사전에 학습된 언어 모델(PLM)을 '추론자'로 미세조정하고 평가한다.
• 자동 평가와 인간 평가를 모두 수행하여 제안된 프레임워크가 강력한 베이스라인(제로샷 및 소수 샘플 프롬프팅 방법 포함)과 비교하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 언어 모델은 형식적 논리 표현 없이도 자연어 사실에서 일반적인 자연어 규칙을 효과적으로 유도할 수 있는가?
• RQ2 자연어 기반 인도적 추론에 특화된 자동 평가 지표는 자연어 규칙의 품질과 일반화 정도에 대한 인간의 판단과 얼마나 관련이 있는가?
• RQ3 철학적 영감을 받은 추론 프레임워크는 표준 프롬프팅 방법에 비해 유도된 규칙의 품질과 일반화 정도를 얼마나 향상시키는가?
• RQ4 제안된 패러다임은 기호적 ILP 시스템의 체계적 문제(예: 레이블 노이즈에 민감하고, 모호하거나 원시적인 자연어 입력을 처리할 수 없음)를 얼마나 효과적으로 완화하는가?
• RQ5 특히 기존 문헌에 알려지지 않은 새로운 비트리비얼 과학적 가설을 생성하는 데 있어 이 접근법을 확장할 때의 주요 과제는 무엇인가?

주요 결과

• 철학적 원리에 기반한 제안된 프레임워크는 자동 평가와 인간 평가 모두에서 강력한 베이스라인을 크게 능가하며, 더 나은 규칙 일반화와 사실 일관성을 보여준다.
• DEER 데이터셋은 일상지식 및 과학 분야에서 다양한 고품질의 규칙-사건 관계를 성공적으로 캡처하며, 여러 자연어 사실에 걸쳐 일반화된 규칙을 포함한다.
• 새로운 자동 평가 지표는 인간의 판단과 강한 상관관계를 보이며, 규칙 품질과 인도적 강도 평가에 실용적인 유용성을 입증한다.
• 사전에 학습된 언어 모델는 원시 텍스트 사실에서 타당하고 일반적인 자연어 규칙을 생성하는 데 강력한 능력을 보이며, 과학적 가설 생성의 '코파일럿'으로 활용될 잠재력을 보여준다.
• 규칙 품질은 사실의 다양성과 의미적 일관성에 매우 민감하며, 잘 구성되지 않거나 중복된 사실은 더 약한 유도된 규칙을 초래함을 확인했다.
• 이 프레임워크는 과학적 가설 발견 분야에서 잠재력을 보이며, 후속 연구(Yang et al., 2023b)는 LLM이 기존 문헌에 존재하지 않는 새로운 타당한 가설을 생성할 수 있음을 보여주었다.