[논문 리뷰] Still not systematic after all these years: On the compositional skills of sequence-to-sequence recurrent networks

Brenden M. Lake, Marco Baroni|arXiv (Cornell University)|2017. 10. 31.

Natural Language Processing Techniques인용 수 51

한 줄 요약

이 논문은 순차적-순차적 RNN에서 구성적 일반화를 평가하기 위해 SCAN 도메인을 도입한다. 유사 명령어에서는 뛰어난 성능을 보이지만, 새로운 동사와 수식어를 조합해야 하는 체계적 일반화가 요구될 경우 RNN은 극적으로 실패함을 입증한다. 이는 신경망의 체계적 성질에 대한 핵심적 한계를 드러낸다. 연구 결과는 신경망 모델이 막대한 훈련 데이터가 필요한 이유가 구성적 일반화의 부족 때문일 수 있음을 시사한다.

ABSTRACT

Humans can understand and produce new utterances effortlessly, thanks to their systematic compositional skills. Once a person learns the meaning of a new verb dax, he or she can immediately understand the meaning of twice or sing and dax. In this paper, we introduce the SCAN domain, consisting of a set of simple compositional navigation commands paired with the corresponding action sequences. We then test the zero-shot generalization capabilities of a variety of recurrent neural networks (RNNs) trained on SCAN with sequence-to-sequence methods. We find that RNNs can generalize well when the differences between training and test commands are small, so that they can apply mix-and-match strategies to solve the task. However, when generalization requires systematic compositional skills (as in the dax example above), RNNs fail spectacularly. We conclude with a proof-of-concept experiment in neural machine translation, supporting the conjecture that lack of systematicity is an important factor explaining why neural networks need very large training sets.

연구 동기 및 목표

• 순환 신경망(RNN)이 인간의 언어 이해와 유사한 체계적 구성적 일반화를 학습할 수 있는지 조사하기 위해.
• 기존 요소의 새로운 조합이 요구될 때 순차적-순차적 RNN의 제로샷 일반화 능력에 대한 한계를 규명하기 위해.
• 열악한 체계적 일반화가 신경망 모델에서 대규모 훈련 데이터가 필요한 이유의 핵심 원인인지 평가하기 위해.
• 다른 언어적 복잡성과 분리된 구성적 일반화를 고려할 수 있는 벤치마크 도메인—SCAN—을 제공하기 위해.

제안 방법

• 저자는 구성적 명령어와 해당 동작 시퀀스를 포함한 합성 주행 환경인 SCAN 도메인을 도입한다.
• 저자들은 SCAN 도메인의 다양한 훈련 명령어에 대해 다양한 순차적-순차적 RNN 아키텍처를 훈련시킨다.
• 일반화 능력은 알려지지 않은 구성 요소 조합, 예를 들어 새로운 동사와 수식어의 조합에 대한 제로샷 테스트를 통해 평가된다.
• 모델의 성능은 단순한 명령어 변형과 복잡한 구성적 일반화 작업 양쪽 모두에서 측정된다.
• 체계적 일반화 제약이 데이터 효율성에 영향을 미치는지 테스트하기 위해 신경 기계 번역에서 개념 증명 실험을 수행한다.

실험 결과

연구 질문

• RQ1 RNN은 새로운 동사와 빈도 수식어의 조합과 같은 알려진 언어 요소의 새로운 조합에 대해 체계적으로 일반화할 수 있는가?
• RQ2 테스트 세트의 구성적 구조 복잡도가 증가함에 따라 제로샷 일반화 성능는 어떻게 변화하는가?
• RQ3 RNN의 체계적 일반화 실패가 RNN이 대규모 훈련 데이터셋에 의존하는 데 기여하는 정도는 어느 정도인가?
• RQ4 체계적 일반화의 실패는 실제 신경 기계 번역 작업에서도 유사하게 나타나는가?

주요 결과

• RNN은 훈련 명령어의 단순한 변형에서는 높은 성능를 보이며, 효과적인 패턴 매칭 및 믹스앤매치 전략을 활용하고 있음을 시사한다.
• RNN은 새로운 동사와 수식어의 조합이 필요한 체계적 조합이 요구되는 제로샷 일반화 작업에서 완전히 실패한다. 예를 들어, 'dax'가 새로운 동사일 경우 'twice dax'를 이해하지 못한다.
• 실패의 원인은 모델 용량이나 아키텍처가 아니라, 구성 요소의 의미를 새로운 방식으로 조합할 수 없는 데 기인한다.
• 신경 기계 번역에서, 제한된 데이터로 훈련된 모델은 체계적 일반화에 실패하며, 이는 체계적 일반화가 데이터 효율성의 핵심적 저지대임을 뒷받침한다.