[논문 리뷰] Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks

João Loula, Marco Baroni외 1명|arXiv (Cornell University)|2018. 07. 19.

Natural Language Processing Techniques참고 문헌 14인용 수 18

한 줄 요약

이 논문은 RNN에서 구성적 일반화를 검증하기 위해 SCAN 데이터셋을 사용하여, 'around'과 'right'와 같은 익숙한 기능어를 새로운 맥락에서 재결합할 수 있는 능력을 평가한다. 기존 패턴에서는 뛰어난 성능를 보이나, 새로운 조합에 대해 구성 규칙을 체계적으로 적용해야 할 경우 RNN은 체계적인 일반화에 실패하며, 특정 예제에 대한 광범위한 노출에 의존할 뿐 추상적 규칙을 학습하지는 않는다.

ABSTRACT

Systematic compositionality is the ability to recombine meaningful units with regular and predictable outcomes, and it's seen as key to humans' capacity for generalization in language. Recent work has studied systematic compositionality in modern seq2seq models using generalization to novel navigation instructions in a grounded environment as a probing tool, requiring models to quickly bootstrap the meaning of new words. We extend this framework here to settings where the model needs only to recombine well-trained functional words (such as "around" and "right") in novel contexts. Our findings confirm and strengthen the earlier ones: seq2seq models can be impressively good at generalizing to novel combinations of previously-seen input, but only when they receive extensive training on the specific pattern to be generalized (e.g., generalizing from many examples of "X around right" to "jump around right"), while failing when generalization requires novel application of compositional rules (e.g., inferring the meaning of "around right" from those of "right" and "around").

연구 동기 및 목표

• 재훈련된 기능어를 새로운 맥락에서 재결합할 때 순환 신경망(RNN)이 체계적으로 일반화할 수 있는지 조사하는 것.
• 기존의 시퀀스-투-시퀀스 모델에서의 구성 일반화 연구를 확장하여, 새로운 동사 학습이 아닌 기능어에 초점을 맞추는 것.
• 훈련 데이터의 양과 구조가 체계적 일반화를 가능하게 하거나 방해하는 데 미치는 영향을 평가하는 것.
• RNN이 특정 조합에 대한 사전 노출 없이도 알려진 구성 요소들만으로 새로운 단어 조합의 의미를 유추할 수 있는지 확인하는 것.

제안 방법

• 연구는 문장 구조 문법을 사용해 템플릿에서 명령어를 생성하는 언어 기반 주행 환경인 SCAN 데이터셋을 사용한다.
• 실험은 'look around right'와 같은 다른 프리미티브에서 훈련한 후, 'jump around right'와 같은 새로운 프리미티브에 대해 'around right'를 기능 템플릿으로 일반화하는 것을 고립한다.
• 세 가지 통제된 실험은 목표 템플릿의 훈련 예제 수를 변화시켜, 보류된 명령어에 대한 제로샷 일반화 성능을 측정한다.
• 성능 평가는 새로운 명령어를 정확한 동작 시퀀스로 매핑하는 데서의 정확도로 평가되며, 오차 추정을 위해 부트스트랩 95% 신뢰구간을 사용한다.
• 모델은 총 100만 개의 훈련 프resetation에서 훈련되며, 조건 간의 샘플 복잡도 영향을 분리하기 위해 예제 수가 다르게 설정된다.
• 프레임워크는 개별 단어의 의미가 이미 알려진 조건에서 테스트되며, 도전 과제는 구성 규칙 적용에 국한된다.

실험 결과

연구 질문

• RQ1 RNN은 훈련 중에 그 정확한 조합을 본 적이 없더라도, 익숙한 기능어 조합(예: 'jump around right')의 의미를 일반화할 수 있는가?
• RQ2 다양한 프리미티브에 걸쳐 'Primitive around right'와 같은 특정 템플릿에 대한 노출이 증가함에 따라 모델의 성능이 향상되는가, 아니면 명시적 예제가 없는 경우에 제한되는가?
• RQ3 모델의 일반화 능력은 체계적 조합성에 기반하는가, 아니면 특정 훈련 예제의 기억에 의존하는가?
• RQ4 복잡한 템플릿의 고유한 훈련 예제 수가 모델의 새로운 프리미티브로의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 모델은 'around right' 템플릿에 대해 단 한 개의 예제에서 훈련된 후에도 새로운 프리미티브(예: 'jump around right'))에 대해 거의 완벽한 일반화를 달성하여, 약간의 유추 일반화 능력을 보여준다.
• 기존 구성 요소('around'와 'right')는 알고 있지만 특정 조합에 대한 사전 노출이 없는 경우 성능가 낮게 유지되며, 이는 체계적 조합성의 실패를 나타낸다.
• 목표 템플릿의 훈련 예제 수가 증가함에 따라 일반화 정확도가 점진적으로 향상되며, 512개 예제에서 최고에 도달하여 통계적 증거에 의존함을 시사한다.
• 개별 구성 요소에 대한 광범위한 노출에도 불구하고, 목표 조합이 훈련 데이터에 없을 경우 모델은 일반화에 실패하여 구성 일반화의 부재를 보여준다.