[논문 리뷰] Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement

Linlu Qiu, Liwei Jiang외 9명|arXiv (Cornell University)|2023. 10. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간의 추론 방식을 모방하는 반복적 가설 정련 방법을 통해 대규모 언어 모델(LMs)의 귀납적 추론 능력을 조사한다. 이 방법은 규칙을 생성하고, 테스트하며, 개선하는 방식이다. 비록 유력한 규칙을 제안하는 데 뛰어나지만, LMs는 자신의 규칙을 적용하는 데 심각한 결함을 보이며, 이는 그들이 놀라운 규칙 제안자이지만 이해하기 어려운 추론자라는 모순을 드러낸다. 이는 LMs에서 가설 생성과 규칙 적용 사이의 격차를 보여준다.

ABSTRACT

The ability to derive underlying principles from a handful of observations and then generalize to novel situations -- known as inductive reasoning -- is central to human intelligence. Prior work suggests that language models (LMs) often fall short on inductive reasoning, despite achieving impressive success on research benchmarks. In this work, we conduct a systematic study of the inductive reasoning capabilities of LMs through iterative hypothesis refinement, a technique that more closely mirrors the human inductive process than standard input-output prompting. Iterative hypothesis refinement employs a three-step process: proposing, selecting, and refining hypotheses in the form of textual rules. By examining the intermediate rules, we observe that LMs are phenomenal hypothesis proposers (i.e., generating candidate rules), and when coupled with a (task-specific) symbolic interpreter that is able to systematically filter the proposed set of rules, this hybrid approach achieves strong results across inductive reasoning benchmarks that require inducing causal relations, language-like instructions, and symbolic concepts. However, they also behave as puzzling inductive reasoners, showing notable performance gaps between rule induction (i.e., identifying plausible rules) and rule application (i.e., applying proposed rules to instances), suggesting that LMs are proposing hypotheses without being able to actually apply the rules. Through empirical and human analyses, we further reveal several discrepancies between the inductive reasoning processes of LMs and humans, shedding light on both the potentials and limitations of using LMs in inductive reasoning tasks.

연구 동기 및 목표

• 대규모 언어 모델(LMs)이 체계적으로 가설을 정련함으로써 인간과 유사한 귀납적 추론을 수행할 수 있는지 조사하기.
• 다양한 추론 작업 전반에서 LM의 가설 생성과 규칙 적용 간 격차 평가하기.
• 특히 내성성과 실용적 규칙 형식화 측면에서 인간과 LM의 귀납적 추론 과정 간 격차 규명하기.
• LM과 기호 해석기의 융합을 통한 하이브리드 프레임워크 개발 및 검증하기.
• 규칙 유도 과정에서 현재의 LMs가 변형되거나 새로운 예시에 일반화하는 데에 한계를 드러내기.

제안 방법

• 반복적 가설 정련 사용: LMs를 통해 후보 규칙을 제안하고, 기호 해석기를 통해 성능이 가장 좋은 규칙을 선별하고, 여러 반복 주기에 걸쳐 정련하기.
• 과제에 특화된 기호 해석기(예: 코드나 문법 파서)를 사용하여 훈련 예시에서 규칙의 정확성을 검증하기.
• 자유형 또는 제약 있는 자연어 규칙 생성하기. 필요에 따라 실행 가능한 형식(예: 코드)으로 번역하여 해석 가능하게 하기.
• 네 가지 다른 귀납적 추론 과제에 이 방법 적용하기: 인과 관계, 복합 지시문, 기호 연산, 시각적 개념.
• 시험 예시에서 규칙 성능이 개선을 이끄는 피드백 루프 통합하기. 규칙 품질과 형식에 대한 인간 평가 포함하기.
• 왜곡된 예시를 사용하여 입력 표현의 변형에 대한 견고성 테스트하기.

실험 결과

연구 질문

• RQ1 표준 입력-출력 프롬프팅 대비 반복적 가설 정련이 LM의 귀납적 추론 성능을 향상시킬 수 있는가?
• RQ2 LM이 제안한 규칙이 모두 타당하고, 아직 보지 못한 인스턴스에 정확히 적용 가능한가?
• RQ3 내성성과 실용적 형식화 측면에서 LM의 규칙 유도 과정은 인간의 그것과 어떻게 비교되는가?
• RQ4 LM은 올바른 가설을 제안함에도 불구하고, 왜 자신의 제안한 규칙을 적용하지 못하는가?
• RQ5 예시 표현의 미세한 변형에 대해 LM이 생성한 규칙은 얼마나 민감한가?

주요 결과

• LMs는 후보 규칙 생성에 매우 효과적이며, 모든 테스트 과제에서 강력한 가설 제안 능력을 보여준다.
• 강력한 규칙 생성 능력에도 불구하고, LM은 규칙 유도와 규칙 적용 간에 심각한 성능 격차를 보이며, 많은 제안된 규칙이 시험 인스턴스에 적용될 때 실패한다.
• LMs는 객체 순서나 어조의 변화와 같은 예시 표현의 미세한 변형에 취약한 반면, 인간은 일반화가 뛰어나다.
• 인간 평가 결과, LM이 생성한 규칙는 종종 부실하고 인간이 유도한 규칙에 비해 간결성과 실용적 명확성이 떨어진다.
• LM과 기호 해석기를 융합한 하이브리드 접근 방식은 모든 벤치마크에서 표준 입력-출력 프롬프팅보다 뚜렷이 뛰어나며, 특히 인과적 및 복합 규칙 유도와 같은 복잡한 과제에서 두각을 나타낸다.
• 실증 분석 결과, 규칙 적용 오류는 규칙 형식화의 열악함 때문이 아니라, LM이 자신의 규칙 기술을 정확히 해석하거나 실행할 수 없기 때문이다.