[논문 리뷰] A Property Induction Framework for Neural Language Models

Kanishka Misra, Julia Taylor Rayz외 1명|arXiv (Cornell University)|2022. 05. 13.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 신경망 언어 모델이 개념 지식을 바탕으로 새로운 성질(예: '새로운 성질을 가진다')을 일반화하는 방식을 평가하는 성질 유도 프레임워크를 제안한다. 미세조정된 언어 모델을 사용해 성질의 진리 여부를 판단하고, 그 다음에 유추 일반화 능력을 테스트함으로써, 모델들이 강한 분류학적 편향을 보이며, 동일한 카테고리 내의 개념들에 새로운 성질을 우선적으로 투사함을 발견하였다. 이는 단순한 특징 겹침을 초월한 잠재적 개념 조직이 존재함을 시사한다.

ABSTRACT

To what extent can experience from language contribute to our conceptual knowledge? Computational explorations of this question have shed light on the ability of powerful neural language models (LMs) -- informed solely through text input -- to encode and elicit information about concepts and properties. To extend this line of research, we present a framework that uses neural-network language models (LMs) to perform property induction -- a task in which humans generalize novel property knowledge (has sesamoid bones) from one or more concepts (robins) to others (sparrows, canaries). Patterns of property induction observed in humans have shed considerable light on the nature and organization of human conceptual knowledge. Inspired by this insight, we use our framework to explore the property inductions of LMs, and find that they show an inductive preference to generalize novel properties on the basis of category membership, suggesting the presence of a taxonomic bias in their representations.

연구 동기 및 목표

• 신경망 언어 모델이 훈련 데이터 외부에서 새로운 성질을 한 개념에서 다른 개념으로 일반화할 수 있는지 여부를 조사하기 위해.
• 언어 모델이 새로운 성질 지식을 투사할 때 분류학적 카테고리 소속 여부에 의존하는지 여부를 조사하기 위해.
• 모델 일반화 행동에서 성질 겹침과 분류학적 편향의 영향을 분리하는 것.
• 대규모 언어 모델의 개념 지식과 유추 추론 능력을 체계적이고도 영리하게 탐색할 수 있는 방법을 개발하기 위해.

제안 방법

• 이진 분류 헤드를 사용하여 개념-성질 문장(예: '고양이는 털을 가진다' → 참)의 진리 여부를 판단하도록 언어 모델을 미세조정한다.
• 미세조정된 모델을 성질 판단 헤드로 사용하여, 새로운 성질(예: 'feps를 가진다')이 주어진 개념에 적용되는지 평가한다.
• 표준 역전파를 통해 시드 개념(예: '새로운 성질을 가진다')으로부터 새로운 성질을 다른 개념으로 일반화하도록 모델을 훈련한다.
• 동일한 분류학적 카테고리 내의 개념(예: '참새')과 다른 카테고리의 개념(예: '기린')에 대한 모델 예측을 비교하여 일반화 선호도를 테스트한다.
• 성질 겹침을 통제하기 위해, 훈련 데이터에서 카테고리 소속 여부와 공통 특징의 영향을 통계적으로 분리한다.
• 균형 잡히고 의미 있는 평가 세트를 확보하기 위해 보조 데이터 필터링 파이프라인과 음성 샘플링 알고리즘을 사용한다.

실험 결과

연구 질문

• RQ1 신경망 언어 모델은 다른 특징보다 분류학적 카테고리 소속 여부에 따라 새로운 성질을 일반화하는 데 선호하는가?
• RQ2 관찰된 유추 편향이 훈련 데이터의 성질 겹침 때문인지, 아니면 더 깊은 개념적 조직 때문인가?
• RQ3 언어 모델의 유추 선호도는 인간의 성질 유추에서 관찰되는 것과 어떻게 비교되는가?
• RQ4 표준 자연어 추론 작업을 초월하여 언어 모델의 유추 일반화를 체계적으로 탐색하고 평가할 수 있는 프레임워크를 설계할 수 있는가?
• RQ5 대규모 텍스트에서의 사전 훈련이 하류 성질 유도에서 관찰되는 분류학적 편향을 어떻게 형성하는가?

주요 결과

• 모델들은 작업 특화 미세조정 없이도 새로운 성질이 개념에 적용되는지 판단하는 데 우수한 성능을 보이며, 이는 성질 지식을 일반화할 수 있음을 시사한다.
• 모델들은 동일한 분류학적 카테고리 내의 개념(예: 참새)에 대해 다른 카테고리의 개념(예: 기린)보다 새로운 성질을 일반화하는 데 뚜렷한 선호도를 보이며, 이는 분류학적 편향을 시사한다.
• 성질 겹침을 통제한 후에도 이러한 분류학적 선호도가 유지되며, 이는 편향이 훈련 데이터에서 특징 동시 발생 때문만은 아님을 시사한다.
• 결과는 언어 모델가 사전 훈련 과정에서 잠재적 분류학적 구조를 인코딩하고, 이후 유추 추론 과정에서 이를 활성화함을 시사한다.
• 이 프레임워크는 생물학적 및 카테고리적 추론에서 인간과 유사한 유추 일반화 패턴을 성공적으로 포착하였다.
• 이 연구는 언어 모델가 체계적이고 비연역적 추론을 지원할 수 있음을 입증하며, 그들의 개념 지식과 추론 메커니즘을 이해하는 데 새로운 통찰을 제공한다.