[논문 리뷰] The compositionality of neural networks: integrating symbolism and connectionism.

Dieuwke Hupkes, Verna Dankers외 2명|arXiv (Cornell University)|2019. 08. 22.

Topic Modeling참고 문헌 64인용 수 20

한 줄 요약

이 논문은 언어학적 및 철학적 구성성 이론을 다섯 개의 작업 독립적이고 이론적으로 기반한 테스트로 번역함으로써 신경망의 구성성을 평가하기 위한 이론 기반 평가 프레임워크를 제안한다. PCFG SET라는 매우 구성적인 확률적 문맥 자유 문법 기반 데이터셋에 대해 순서에서 순서로 모델을 적용한 결과, 체계적 일반화, 규칙 학습, 동의어 치환에 대한 저항성 측면에서 아키텍처의 강점과 약점을 드러냈다.

ABSTRACT

Despite a multitude of empirical studies, little consensus exists on whether neural networks are able to generalise compositionally, a controversy that, in part, stems from a lack of agreement about what it means for a neural model to be compositional. As a response to this controversy, we present a set of tests that provide a bridge between, on the one hand, the vast amount of linguistic and philosophical theory about compositionality and, on the other, the successful neural models of language. We collect different interpretations of compositionality and translate them into five theoretically grounded tests that are formulated on a task-independent level. In particular, we provide tests to investigate (i) if models systematically recombine known parts and rules (ii) if models can extend their predictions beyond the length they have seen in the training data (iii) if models' composition operations are local or global (iv) if models' predictions are robust to synonym substitutions and (v) if models favour rules or exceptions during training. To demonstrate the usefulness of this evaluation paradigm, we instantiate these five tests on a highly compositional data set which we dub PCFG SET and apply the resulting tests to three popular sequence-to-sequence models: a recurrent, a convolution based and a transformer model. We provide an in depth analysis of the results, that uncover the strengths and weaknesses of these three architectures and point to potential areas of improvement.

연구 동기 및 목표

• 신경망이 구성적으로 일반화하는지에 대한 논란을 해결하기 위해, 구성성의 정의가 일관되지 않은 데 기인한 문제를 해결하기 위해.
• 기호 이론과 경험적 신경망 모델 간 격차를 좁히기 위해, 언어학적 및 철학적 기초에 기반한 테스트를 마련함으로써.
• 특정 작업에 종속되지 않고 다양한 신경망 아키텍처에 적용 가능한 평가 테스트 세트를 개발하기 위해.
• 인기 있는 순서에서 순서로 모델들—순환, 컨volution, 트랜스포머 기반—이 여러 차원에 걸쳐 구성적으로 어떻게 일반화하는지 평가하기 위해.
• 체계적 재결합, 외삽, 국소적 대비 전반적 연산, 동의어 저항성, 규칙 대 예외 학습 측면에서 아키텍처의 강점과 한계를 규명하기 위해.

제안 방법

• 철학 및 언어학에서 유래한 구성성의 다섯 가지 별개의 해석을 다섯 개의 형식적이고 작업 독립적인 평가 테스트로 번역함.
• 확률적 문맥 자유 문법 기반으로, 체계적 일반화를 테스트하기 위한 합성적이고 매우 구성적인 데이터셋인 PCFG SET를 설계함.
• 다섯 개의 테스트를 세 가지 최신 순서에서 순서로 모델—순환 네트워크, 컨volution 네트워크, 트랜스포머—에 적용함.
• 기존에 알려진 부분과 규칙의 체계적 재결합, 훈련 시퀀스 길이를 초월한 외삽, 구성 연산의 국소성, 입력 시퀀스의 동의어 치환에 대한 저항성, 규칙 선호도 대 예외 기반 기억의 정도를 평가함.
• 표준화된 메트릭을 사용해 모든 다섯 개의 테스트에서 성능을 정량화함으로써, 다양한 모델 간 비교를 가능하게 함.
• 다섯 가지 테스트 차원에 걸쳐 모델 행동의 정량적 및 정성적 분석을 깊이 있게 수행함.

실험 결과

연구 질문

• RQ1 신경망은 훈련 중에 볼 수 없었던 조합에서 알려진 부분과 규칙을 얼마나 체계적으로 재결합할 수 있는가?
• RQ2 모델은 훈련 시에 보지 못한 시퀀스 길이에 대해 예측을 외삽할 수 있는가?
• RQ3 신경망의 구성 연산은 국소적(예: 토큰 수준)인가, 전반적(예: 시퀀스 수준)인가?
• RQ4 입력 시퀀스의 동의어 치환에 대해 모델의 예측은 얼마나 저항성이 있는가?
• RQ5 훈련 과정에서 모델은 일반 규칙 학습을 선호하는가, 아니면 예외 기반 기억을 선호하는가?

주요 결과

• 트랜스포머 모델은 체계적 재결합과 외삽에서 가장 뛰어난 성능을 보였으며, RNN과 CNN 아키텍처를 모두 압도함.
• 모든 모델이 동의어 치환에 대해 제한된 저항성을 보였으며, 이는 구성 연산에서 의미적 추상화의 부재를 시사함.
• RNN과 CNN 모델은 더 전반적인 구성 패턴을 보였고, 트랜스포머는 국소적 및 전반적 행동의 조합을 보였음.
• 세 모델 모두 저데이터 환경에서 예외 기반 기억을 일반 규칙 학습보다 강하게 선호함.
• 훈련 길이를 초월한 일반화 능력은 매우 미미했으며, 외삽 능력이 약간 있는 것은 오직 트랜스포머 모델 뿐이었음.
• 평가 프레임워크는 구성성에서 아키텍처의 편향과 한계를 성공적으로 드러내었으며, 순서 모델의 개선된 인덕티브 편향이 필요하다는 점을 강조함.