[논문 리뷰] Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks

Brenden M. Lake, Marco Baroni|arXiv (Cornell University)|2017. 10. 31.

Natural Language Processing Techniques인용 수 77

한 줄 요약

논문은 SCAN 과제에서 seq2seq RNN의 제로샷 일반화를 테스트하여 구문적 구성성( compositionality )을 평가하고, 학습과 테스트가 약간 다를 때 네트워크가 일반화하지만 체계적 구성적 일반화에는 실패하며 기계 번역에 대한 개념 증명(proof-of-concept)을 보여준다.

ABSTRACT

Humans can understand and produce new utterances effortlessly, thanks to their compositional skills. Once a person learns the meaning of a new verb "dax," he or she can immediately understand the meaning of "dax twice" or "sing and dax." In this paper, we introduce the SCAN domain, consisting of a set of simple compositional navigation commands paired with the corresponding action sequences. We then test the zero-shot generalization capabilities of a variety of recurrent neural networks (RNNs) trained on SCAN with sequence-to-sequence methods. We find that RNNs can make successful zero-shot generalizations when the differences between training and test commands are small, so that they can apply "mix-and-match" strategies to solve the task. However, when generalization requires systematic compositional skills (as in the "dax" example above), RNNs fail spectacularly. We conclude with a proof-of-concept experiment in neural machine translation, suggesting that lack of systematicity might be partially responsible for neural networks' notorious training data thirst.

연구 동기 및 목표

• RNN 기반 seq2seq 모델의 제로샷 일반화를 지상화된 항해 명령 도메인(SCAN)에서 평가한다.
• 모델이 더 긴 행동 시퀀스와 새로운 프리미티브·수식 조합에 얼마나 잘 일반화하는지 조사한다.
• 단일 프리미티브 명령에서 그 모든 구성 형태로 일반화할 수 있는지 검사한다.
• SCAN 너머의 신경망의 체계적인 구성성에 대한 시사점 탐구(설명적 MT 실험 포함).

제안 방법

• SCAN을 입력 명령과 출력 행동 시퀀스로 구성된 감독된 시퀀스-투-시퀀스 구문 분석 태스크로 사용한다.
• (1–2 계층, 25–400 은닉 유닛, 드롭아웃 0–0.5) 다양한 순환 구조(SRNs, LSTMs, GRUs)를 주도적으로 하이퍼파라미터 탐색과 함께 평가한다.
• Adam 옵티마이저를 사용한 100,000회의 훈련 시도; 교사 강제(teacher forcing)와 자유 실행(free-running) 디코딩을 비교한다.
• 무작위 부분집합, 더 긴 행동 시퀀스, 단일 프리미티브의 구성 일반화 등 여러 분할에서 제로샷 일반화를 테스트한다.
• 번역에서 새로운 단어를 도입해 일반화 성능을 평가하는 MT 예제의 소규모 파일럿 실험을 수행한다.
• 인코더 표현과 디코더 동작을 분석해 실패 모드와 기억/어텐션의 역할을 이해한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 순환 모델이 명령 공간의 부분집합에서 학습했을 때 새로운 구성 명령에 일반화할 수 있는가?
• RQ2 학습 중 보지 못한 더 긴 동작 시퀀스와 더 긴 출력을 요구하는 명령에 일반화하는가?
• RQ3 프리미티브 명령(예: turn left, jump)의 의미를 모든 구성 형태로 확장하는 정도는 어느 정도인가?
• RQ4 이 일반화 패턴이 기계 번역과 같은 다른 seq2seq 태스크에도 확장되어 더 넓은 한계를 시사하는가?

주요 결과

• 학습 중에 본 구성 요소의 조합으로 이루어진 테스트 명령에 대해 일반화가 잘 된다(랜덤 부분집합 분할).
• 더 긴 행동 시퀀스로의 일반화는 제한적이며, 필요한 시퀀스 길이가 증가함에 따라 성능이 하락한다(주의를 기울인 모델일지라도 마찬가지).
• 프리미티브 명령에서 학습할 때 Turn-left가 Jump보다 일반화가 훨씬 잘된다. 이는 구성 학습이 프리미티브별로 고르지 않음을 시사한다.
• 프리미티브 명령에서의 일반화는 구성 예시를 더 추가해도 여전히 체계적 규칙 기반 일반화에는 미치지 못한다.
• 머신 트랜스레이션 파일럿에서 새로운 단어(daxy)를 도입하면 이전에 보지 못한 구성에 대해 번역이 심각하게 저하되어, 체계적인 구성성에 대한 데이터 양 의존성 필요성을 시사한다.