[논문 리뷰] Blackbird's language matrices (BLMs): a new benchmark to investigate disentangled generalisation in neural networks

Paola Merlo, Aixiu An외 1명|arXiv (Cornell University)|2022. 05. 22.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 레이븐의 진행성 매트릭스를 기반으로 한 새로운 언어적 벤치마크인 블랙버드의 언어 매트릭스(BLMs)를 소개한다. 이는 신경망의 분리된 일반화 능력을 평가하기 위해 설계되었으며, 44,800개의 생성된 문장으로 구성되어 있어 모델이 문법적 일치 규칙을 숙지하고 예측되지 않은 조합으로의 일반화 능력을 시험한다. 결과적으로 현재의 모델들은 기초 규칙을 학습하고 있음에도 불구하고 여전히 부분적인 엉키는 현상이 존재함을 드러낸다.

ABSTRACT

Current successes of machine learning architectures are based on computationally expensive algorithms and prohibitively large amounts of data. We need to develop tasks and data to train networks to reach more complex and more compositional skills. In this paper, we illustrate Blackbird's language matrices (BLMs), a novel grammatical dataset developed to test a linguistic variant of Raven's progressive matrices, an intelligence test usually based on visual stimuli. The dataset consists of 44800 sentences, generatively constructed to support investigations of current models' linguistic mastery of grammatical agreement rules and their ability to generalise them. We present the logic of the dataset, the method to automatically construct data on a large scale and the architecture to learn them. Through error analysis and several experiments on variations of the dataset, we demonstrate that this language task and the data that instantiate it provide a new challenging testbed to understand generalisation and abstraction.

연구 동기 및 목표

• 언어적 추론 작업을 활용하여 신경망의 분리된 일반화 능력을 평가하기 위한 새로운 벤치마크를 개발하는 것.
• 현재 NLP 모델들이 i.i.d. 데이터 분포를 초월해 일반화하는 데에 한계가 있으며, 복합 문법 규칙을 숙지하지 못하는 문제를 해결하는 것.
• 추상적인 문법적 구조를 반영하는 복잡한 언어 데이터셋을 생성하기 위한 확장 가능한 생성 프레임워크를 만드는 것.
• 모델이 새로운 조합에 대해 기초 문법 규칙(특히 주어-동사 일치)을 어떻게 학습하고 표현하는지 조사하는 것.
• 인간과 유사한 추론 방식을 반영하는 방식으로 딥러닝 아키텍처의 추상화 및 일반화 능력을 테스트할 수 있는 테스트베드를 제공하는 것.

제안 방법

• BLMs는 주어-동사 수의 일치, 성별, 인물 등 언어적 특성의 인수적 조합을 기반으로 생성된 문장을 만드는 구조적 생성 모델을 사용하여 제작된다.
• 데이터셋은 시각적 RPM과 유사하게 8개의 문장으로 구성된 시퀀스이며, 각 문장은 일관된 문법 규칙에 따라 이전 문장을 논리적으로 변형한 것이다.
• 이 작업은 모델이 시퀀스로부터 기초 생성 규칙을 추론하고 누락된 마지막 문장을 예측하도록 요구하여, 훈련 데이터를 초월한 일반화 능력을 시험한다.
• 저자는 BLMs에서 신경 시퀀스 모델(예: 트랜스포머 또는 RNN)을 훈련시키고, 내부 분포 및 외부 분포 예측에 대한 성능을 평가한다.
• 오류 분석을 통해 학습된 표현에서의 어휘 일관성과 엉킴 현상과 관련된 실패 패턴을 식별한다.
• 규칙의 복잡도, 특성 유형, 어휘 다양성 등을 변경하여 다양한 조건에서의 일반화 능력을 탐색하기 위해 데이터셋의 변형을 만든다.

실험 결과

연구 질문

• RQ1 신경망은 문장 간의 구조적 유사성에 기반한 시퀀스에서 문법적 일치 규칙을 학습하고, 이를 통해 분리된 표현 방식을 반영할 수 있는가?
• RQ2 어휘 일관성과 특성 복잡도의 변화가 모델의 성능과 예측되지 않은 조합에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ3 현재의 딥러닝 아키텍처가 진정으로 분리된 표현을 학습하는가, 아니면 여전히 부분적으로 엉킨 내부 표현을 유지하는가?
• RQ4 BLMs는 단순한 패tern 매칭을 초월해 NLP에서 복합 일반화 능력을 평가하기 위한 신뢰성 있고 확장 가능한 벤치마크로 기능할 수 있는가?
• RQ5 모델은 외부 분포 예측에서 어떻게 실패하며, 이러한 오류 패턴은 추상화 및 규칙 학습 능력의 한계를 어떻게 드러내는가?

주요 결과

• BLMs 데이터셋은 복잡한 문법 규칙 학습을 위한 신경망 훈련을 성공적으로 지원하며, 내부 분포 예측에서 비현저한 성능을 기록한다.
• 어휘 일관성이 학습 정확도에 크게 영향을 미치며, 이는 모델 성능이 순수한 규칙 기반 추상화가 아니라 표면적 어휘 반복에 민감함을 시사한다.
• 기본 규칙을 학습하고 있음에도 불구하고 모델은 여전히 표현에서 부분적인 엉킴 현상을 보이며, 완전한 분리가 아직 도전 과제임을 시사한다.
• 오류 분석 결과, 새로운 조합에 규칙를 적용할 때 체계적인 실수가 발생함을 확인하여, 암기 초월한 복합 일반화 능력이 제한되어 있음을 나타낸다.
• 이 데이터셋은 성공적 일반화와 실패한 일반화를 명확히 구분할 수 있게 하여, 모델의 추론 및 추상화 능력을 탐색하는 데 유용한 도구가 된다.
• 생성 프레임워크 덕분에 다른 언어 현상에 대해 유사한 데이터셋을 확장 가능하게 생성할 수 있으며, 복합 일반화 능력에 대한 더 넓은 조사가 가능해진다.