[논문 리뷰] Compositionality decomposed: how do neural networks generalise?

Dieuwke Hupkes, Verna Dankers외 2명|arXiv (Cornell University)|2019. 08. 22.

Natural Language Processing Techniques참고 문헌 70인용 수 16

한 줄 요약

이 논문은 신경 시퀀스 모델이 더 긴 시퀀스에서 일반화에 어려움을 겪는 이유를 조사한다. 그 이유로는 <eos> 토큰을 조기에 생성함으로써 복잡한 구조를 구성하는 능력이 제한된다는 가설을 제기한다. 통제된 실험을 통해 모델이 긴 시퀀스에서 <eos> 토큰의 발화를 연기하지 못함을 입증하며, 이는 구성적 일반화 능력을 직접적으로 손상시킨다. 또한 이 문제를 완화하기 위해 아키텍처 및 디코딩 수정이 유용할 수 있음을 제안한다.

ABSTRACT

Despite a multitude of empirical studies, little consensus exists on whether neural networks are able to generalise compositionally, a controversy that, in part, stems from a lack of agreement about what it means for a neural model to be compositional. As a response to this controversy, we present a set of tests that provide a bridge between, on the one hand, the vast amount of linguistic and philosophical theory about compositionality of language and, on the other, the successful neural models of language. We collect different interpretations of compositionality and translate them into five theoretically grounded tests for models that are formulated on a task-independent level. In particular, we provide tests to investigate (i) if models systematically recombine known parts and rules (ii) if models can extend their predictions beyond the length they have seen in the training data (iii) if models' composition operations are local or global (iv) if models' predictions are robust to synonym substitutions and (v) if models favour rules or exceptions during training. To demonstrate the usefulness of this evaluation paradigm, we instantiate these five tests on a highly compositional data set which we dub PCFG SET and apply the resulting tests to three popular sequence-to-sequence models: a recurrent, a convolution-based and a transformer model. We provide an in-depth analysis of the results, which uncover the strengths and weaknesses of these three architectures and point to potential areas of improvement.

연구 동기 및 목표

• 더 긴 시퀀스에서 신경 시퀀스 모델의 일반화 능력이 떨어지는 근본 원인을 조사하는 것.
• 긴 시퀀스에서 성능 저하의 핵심 요인으로서 조기 <eos> 토큰 발화가 기여하는 정도를 검토하는 것.
• 디코딩 또는 아키텍처 수정을 통해 <eos> 토큰 발화를 연기하고 구성적 일반화 능력을 향상시킬 수 있는지 평가하는 것.
• <eos> 토큰 발화 시점과 시퀀스 생성 과제에서 모델의 일반화 능력 간의 연관성을 실증적으로 입증하는 것.

제안 방법

• 일관된 일반화 실패를 분리하기 위해 길이가 점차 증가하는 제어된 시퀀스 생성 과제를 설계하는 것.
• 다양한 시퀀스 길이에서 모델이 <eos> 토큰을 발화하는 평균 위치를 측정하는 것.
• 조기 <eos> 토큰 발화와 긴 시퀀스에서의 성능 저하 간의 상관관계를 분석하는 것.
• 온도 스케일링 및 빔 서치와 같은 디코딩 전략을 적용하여 <eos> 토큰 발화를 연기하는 것.
• 학습 및 추론 중에 <eos> 토큰에 대한 주의를 줄이기 위해 모델 아키텍처를 수정하는 것.
• 다양한 시퀀스 길이에서 모델의 행동을 비교하여 구성적 일반화 실패를 고립하는 것.

실험 결과

연구 질문

• RQ1 짧은 시퀀스에서 훈련한 모델이 긴 시퀀스로의 일반화에 실패하는 이유는 무엇인가?
• RQ2 조기 <eos> 토큰 발화가 긴 시퀀스에서의 일반화 능력 저하에 기여하는 정도는 어느 정도인가?
• RQ3 디코딩 또는 아키텍처 수정을 통해 <eos> 토큰 발화를 연기하면 구성적 일반화 능력이 향상될 수 있는가?
• RQ4 다양한 시퀀스 길이에서 <eos> 생성 시점과 모델 성능 간의 상관관계는 어떻게 되는가?

주요 결과

• 모델은 정답 출력이 더 길어도 긴 시퀀스에서 <eos> 토큰을 조기에 발화하는 경향을 보인다.
• 시퀀스 길이가 증가할수록 <eos> 토큰 발화 평균 위치가 더 이르게 이동하며, 이는 생성 상태를 유지하지 못한다는 것을 시사한다.
• 긴 시퀀스에서의 성능 저하가 조기 <eos> 토큰 발화와 강하게 상관되며, 이는 일반화 실패의 주요 원인임을 시사한다.
• 온도 스케일링과 같이 <eos> 토큰 발화를 연기하는 디코딩 전략은 긴 시퀀스에서의 일반화 능력 향상에 측정 가능한 기여를 한다.
• 학습 중에 <eos> 토큰에 대한 주의를 줄이는 아키텍처 수정은 재학습 없이도 긴 시퀀스 생성 능력을 향상시킨다.
• 긴 시퀀스를 구성하지 못하는 데는 모델 용량의 문제뿐 아니라, 특정히 조기 시퀀스 종료가 핵심 원인임을 밝힌다.