[논문 리뷰] Memorize or generalize? Searching for a compositional RNN in a haystack

Adam Liska, Germán Kruszewski외 1명|arXiv (Cornell University)|2018. 02. 18.

Reinforcement Learning in Robotics참고 문헌 26인용 수 60

한 줄 요약

본 논문은 표 조회(table-lookups) 도메인에서 표준 RNN이 구성적 일반화를 학습할 수 있는지 여부를 검토한다. 무작위로 초기화된 RNN의 소수의 비율이 경사하강법 훈련 하에 구성적 해법으로 수렴하더라도, 대부분은 그렇지 않다.

ABSTRACT

Neural networks are very powerful learning systems, but they do not readily generalize from one task to the other. This is partly due to the fact that they do not learn in a compositional way, that is, by discovering skills that are shared by different tasks, and recombining them to solve new problems. In this paper, we explore the compositional generalization capabilities of recurrent neural networks (RNNs). We first propose the lookup table composition domain as a simple setup to test compositional behaviour and show that it is theoretically possible for a standard RNN to learn to behave compositionally in this domain when trained with standard gradient descent and provided with additional supervision. We then remove this additional supervision and perform a search over a large number of model initializations to investigate the proportion of RNNs that can still converge to a compositional solution. We discover that a small but non-negligible proportion of RNNs do reach partial compositional solutions even without special architectural constraints. This suggests that a combination of gradient descent and evolutionary strategies directly favouring the minority models that developed more compositional approaches might suffice to lead standard RNNs towards compositional solutions.

연구 동기 및 목표

• 구성적 학습을 일반화 및 평생 학습으로의 경로로 제시한다.
• 구성적 행동을 테스트하기 위한 간단한 조회표 구성 도메인을 제안한다.
• supervision을 통해 RNN이 구성적 유한 상태 해법을 인코딩할 수 있음을 Demonstrate한다.
• 표준 학습이 내부 상태에 대한 명시적 감독 없이 구성적 해법을 유도할 수 있는지 조사한다.
• 초기화, 과제 순서, 학습 체계가 구성적 해법 발견에 미치는 요인들을 평가한다.

제안 방법

• 원자 및 구성된 비트 문자열 테이블 조회를 사용하는 조회표 구성 도메인을 도입한다.
• 구성적 상태 전이를 반영하도록 설계된 아키텍처를 갖춘 문자 수준 시퀀스-투-시퀀스 RNN으로 모델링한다.
• Phase 1: 구성적 자동화기를 해결하는 유한 상태 자동자를 인코딩하도록 순환 계층의 전이를 감독한 뒤, 상태에서 출력으로의 매핑을 학습한다.
• Phase 2: 내부 상태에 대한 명시적 감독 없이도 원자 및 구성 과제에 대해 일반적인 교차 엔트로피 손실로 학습하여 구성적 해법의 발견 여부를 테스트한다.
• 50k개의 무작위 초기화에 대한 대규모 무작위 탐색을 수행하여 원자 및 구성 과제에 대한 학습 후 제로샷 구성적 일반화를 평가한다.
• 제외된 구성 입력에 대한 일반화를 평가하고 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 표준 RNN이 감독하에 유한 도메인 구성 과제에서 구성적으로 동작하는 것을 배울 수 있는가?
• RQ2 명시적 아키텍처 제약 없이 표준 경사하강법 학습이 구성적 해법을 발견할 수 있는 정도는 어느 정도인가?
• RQ3 초기화, 과제 순서, 커리큘럼 등 어떤 요인이 구성적 해법의 출현에 영향을 미치는가?
• RQ4 구성적으로 일반화하는 모델이 프롬프트를 분해하는지 아니면 암기된 매핑에 의존하는가?
• RQ5 제로샷 일반화 성능은 기준선 무작위 전략과 어떻게 비교되는가?

주요 결과

Model	Generalization performance (%)
RNN (random search)	19.60
random-output	0.00
random-wellformed-output	0.01
random-task-codes	4.56

• 실험 1에서 네트워크가 구성적 유한 상태 자동화를 구현하고 자동자의 상태 전이에 감독될 때 원자 및 구성된 과제에서 96%의 정답을 달성할 수 있다.
• 대규모 무작위 탐색(50k 모델)은 원자 및 구성 과제에 대한 학습 후 제로샷 테스트에서 구성적으로 일반화하는 작지만 무시할 수 없는 비율의 모델을 발견한다.
• 모델의 제로샷 정확도가 약 80%를 넘는 비율은 약 2%, 구성 일반화에서 90%를 넘는 비율은 약 0.75%에 달한다.
• 초기화는 성공 확률에 거의 영향을 주지 않으며, 대신 과제의 제시 순서와 가중치 업데이트의 무작위 순서가 모델이 암기 기반인지 구성적 인지로 가는지를 크게 결정한다.
• 수렴한 구성적 모델의 다수는 프롬프트를 분해된 원자 과제로 해독하지 못하며, 일부는 임의의 과제 코드와 암기에 의존하고 프롬프트 구조를 해석하지 못한다.
• 구성된 과제에만 대해 학습하는 경우 강한 제로샷 일반화를 달성하는 모델 비율이 증가한다(예: 일부에서 제로샷 >90%가 5.5%로 증가).
• Baselines는 학습된 모델보다 제로샷 일반화가 훨씬 낮은 것으로 나타나며, 임의 과제 코드 베이스라인은 순수 무작위 출력보다 더 나은 성능을 보이지만 학습된 모델과는 거리가 있다.