[논문 리뷰] Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks

Brenden M. Lake, Marco Baroni|arXiv (Cornell University)|2017. 10. 30.

Natural Language Processing Techniques인용 수 204

한 줄 요약

본 논문은 SCAN을 grounded navigation command 데이터셋으로 도입하고, 다양한 seq2seq RNN 모델의 합성 가능성 일반화 능력을 체계적으로 평가하여, 어떤 경우에는 제로샷 일반화가 강하지만 진정한 체계적 합성성의 활용에 심각한 실패를 보이며, 개념 증명으로 간단한 번역 실험을 제시한다.

ABSTRACT

Humans can understand and produce new utterances effortlessly, thanks to their compositional skills. Once a person learns the meaning of a new verb "dax," he or she can immediately understand the meaning of "dax twice" or "sing and dax." In this paper, we introduce the SCAN domain, consisting of a set of simple compositional navigation commands paired with the corresponding action sequences. We then test the zero-shot generalization capabilities of a variety of recurrent neural networks (RNNs) trained on SCAN with sequence-to-sequence methods. We find that RNNs can make successful zero-shot generalizations when the differences between training and test commands are small, so that they can apply "mix-and-match" strategies to solve the task. However, when generalization requires systematic compositional skills (as in the "dax" example above), RNNs fail spectacularly. We conclude with a proof-of-concept experiment in neural machine translation, suggesting that lack of systematicity might be partially responsible for neural networks' notorious training data thirst.

연구 동기 및 목표

• SCAN을 제어된, 구성 가능한 명령-행동 과제로 도입한다.
• 제로샷, 체계적 일반화 작업에서 다양한 seq2seq 순환 아키텍처를 평가한다.
• 표준 모델이 일반화에 성공하는 곳과 진정한 구성성을 나타내지 못하는 곳을 식별한다.
• 데이터 효율성 및 체계성 측면에서 신경망 기계 번역 및 더 넓은 시퀀스-투-시퀀스 학습에 대한 시사점을 탐구한다.

제안 방법

• SCAN을 13 입력 단어와 6 출력 동작을 갖는 감독된 seq2seq 의미 파싱 문제로 취급한다.
• 주목(attention) 유무에 따라 SRN, LSTM 및 GRU를 1-2 계층 구성과 다양한 은닉 크기로 체계적으로 테스트한다.
• 상위 성능자를 식별하기 위해 광범위한 하이퍼파라미터 검색을 수행한다(180개 아키텍처, 각 5개 시드).
• Adam 최적화와 드롭아웃으로 100,000회의 트레이닝을 수행하고, 교사 강요(teacher forcing) 및 교사 강요/자유 실행 디코딩(regimes)을 모두 사용한다.
• 훈련 노출을 넘어 구성성 분해를 시험하는 신중하게 설계된 분할에서 제로샷 일반화를 평가한다.
• 체계성 차이가 다른 seq2seq 도메인으로 확장되는지 확인하기 위한 개념 증명 MT 실험을 포함한다.

실험 결과

연구 질문

• RQ1 SCAN에서 표준 seq2seq RNN이 이미 알려진 부분을 혼합해 만든 새로운 명령(혼합-매치)에서 일반화할 수 있는가?
• RQ2 훈련 예제가 더 긴 동작 시퀀스나 프리미티브와 수정자의 새로운 조합에 일반화해야 하는 경우 RNN이 진정한 체계적 구성성을 보이는가?
• RQ3 주의(attention)가 SCAN 과제에서 다른 아키텍처(SRN, LSTM, GRU)의 일반화에 어떤 영향을 주는가?
• RQ4 시퀀스-투-시퀀스 모델에서 체계성의 부족이 어휘를 새롭게 도입할 때 기계 번역과 같은 더 넓은 태스크에 얼마나 영향을 주는가?
• RQ5 신경 모델이 표면적 패턴 인식이 아니라 추상 규칙을 학습하도록 장려하기 위한 전략은 무엇인가?

주요 결과

• RNN은 익숙한 부분으로 구성된 테스트 명령에서 일반화가 잘 되어, 일부 임의 하위집합 분할에서 거의 완벽한 정확도를 달성한다.
• 대부분의 모델은 관찰된 패턴을 넘어선 체계적 구성으로 일반화해야 하는 테스트 명령에서 일반화에 실패하고, 동작 시퀀스 길이가 증가함에 따라 크게 감소한다(장기 시퀀스 실험에서 평균 13.8%의 최상치를 보인다).
• Turn-left 일반화는 많은 모델에서 강하고, jump 일반화는 관련 합성 형태를 학습에서 노출하지 않으면 형편없다, 체계성의 불균등함을 강조한다.
• 긴 시퀀스 일반화에서, 심지어 오라클 길이 안내가 있을 때도 성능은 완벽과 멀고, 더 긴 동작 시퀀스에서 정확도가 크게 떨어진다(예: 24개 동작에 95.76%, 48개 동작에 22.8%).
• jump 같은 원시어에 대한 추가 합성 예제를 제공하면 일반화가 크게 개선된다(예: 8개로 38.3%, 16개로 77.8%, 32개로 88.4% 합성 jump 명령).
• 짧은 MT 실험은 새로운 단어(daxy)를 추가하면 번역이 크게 악화되며, 합성 사용에 대한 광범위한 노출이 없어서는 확장된 합성 일반화의 한계를 시사한다.