[논문 리뷰] Compositional Generalization via Neural-Symbolic Stack Machines

Xinyun Chen, Liang, Chen외 3명|arXiv (Cornell University)|2020. 08. 15.

Natural Language Processing Techniques참고 문헌 49인용 수 8

한 줄 요약

이 논문은 복합 일반화를 달성하기 위해 순서 조작 연산을 갖춘 기호 스택 기계를 신경망 제어로 제어하는 가분성 신경망인 Neural-Symbolic Stack Machines (NeSS)를 제안한다. 운영 등가성과 커리큘럼 학습을 활용하여, 훈련 시 참조 실행 트레이스가 필요 없이 네 가지 벤치마크—SCAN, 소수 샘플 복합 지시어 학습, 복합 기계 번역, 문맥 자유 문법 구문 분석—에서 100%의 일반화 성능를 달성한다.

ABSTRACT

Despite achieving tremendous success, existing deep learning models have exposed limitations in compositional generalization, the capability to learn compositional rules and apply them to unseen cases in a systematic manner. To tackle this issue, we propose the Neural-Symbolic Stack Machine (NeSS). It contains a neural network to generate traces, which are then executed by a symbolic stack machine enhanced with sequence manipulation operations. NeSS combines the expressive power of neural sequence models with the recursion supported by the symbolic stack machine. Without training supervision on execution traces, NeSS achieves 100% generalization performance in four domains: the SCAN benchmark of language-driven navigation tasks, the task of few-shot learning of compositional instructions, the compositional machine translation benchmark, and context-free grammar parsing tasks.

연구 동기 및 목표

• 딥 러닝 모델이 알려진 구성 요소의 새로운 조합에 일반화하지 못하는 한계를 해결하기 위해.
• 언어적 및 구조적 규칙의 체계적 조합을 지원하기 위해 재귀와 순서 조작을 지원하는 신경 기반 기호 아키텍처를 개발하기 위해.
• 실행 트레이스에 대한 지도 없이 운영 등가성과 커리큘럼 학습 방식을 도입하여 모델을 훈련하기 위해.
• 언어-행동, 기계 번역, 문법 분석 작업을 포함한 다양한 복합 추론 벤치마크에서 최신 기술 수준의 일반화 성능를 달성하기 위해.

제안 방법

• NeSS는 순서 조작 연산(예: SHIFT, REDUCE, PUSH, POP, CONCAT_M, CONCAT_S, FINAL)이 추가된 기호 스택 기계와 신경망 컨트롤러를 통합한다.
• 스택 기계는 재귀와 순서에서 순서로의 생성을 지원하여 언어 구성 요소의 모듈식 처리와 조합을 가능하게 한다.
• 유사한 실행 트레이스를 기반으로 의미적으로 유사한 구성 요소(예: 'jump'과 'run')를 그룹화하는 운영 등가성을 도입하여 일반화 성능를 향상시킨다.
• 짧고 단순한 트레이스부터 시작하여 점차 복잡도를 높이는 방식으로 장수열에 대한 훈련을 위한 커리큘럼 학습 체계를 설계한다.
• 참조 실행 트레이스가 없이도, 트레이스 예측과 운영 등가성을 통해 지도를 얻는 방식으로 엔드 투 엔드로 모델을 훈련한다.
• 기호 스택 기계는 예측된 트레이스를 실행하여 출력을 생성하며, 신경 컨트롤러는 올바른 연산 시퀀스를 생성하도록 학습한다.

실험 결과

연구 질문

• RQ1 실행 트레이스에 대한 지도 없이도 신경 기반 기호 아키텍처가 복합 추론 작업에서 100% 일반화를 달성할 수 있는가?
• RQ2 언어 구성 요소 간의 운영 등가성을 어떻게 정의하여 새로운 조합에 대한 일반화 성능를 향상시킬 수 있는가?
• RQ3 커리큘럼 학습이 장수열 및 복잡한 시퀀스에 대한 정확한 실행 트레이스 생성을 위한 신경 컨트롤러를 효과적으로 훈련시킬 수 있는가?
• RQ4 순서 조작 연산을 갖춘 기호 스택 기계는 표준 신경 시퀀스 모델을 초월하여 복합 NLP 작업에서 얼마나 넓은 범위로 일반화할 수 있는가?

주요 결과

• NeSS는 테스트 세트에 훈련 구성 요소의 새로운 조합이 포함되어 있어도 SCAN 벤치마크에서 100%의 일반화 성능를 달성한다.
• 소수 샘플 복합 지시어 학습 작업에서 NeSS는 새로운 지시어 유형에 대한 미세 조정 없이도 완벽한 일반화를 달성한다.
• 복합 기계 번역 작업에서 NeSS는 새로운 소스-타겟 어구 조합에 대해 100% 정확도로 일반화한다.
• 문맥 자유 문법 구문 분석 작업에서 NeSS는 신경 구문 분석 모델의 성능를 따라가며 더 넓은 적용 범위를 지원한다.
• 참조 실행 트레이스가 없이도 운영 등가성과 커리큘럼 학습에만 의존하여 효과적으로 일반화된다.
• 이전의 신경 기반 기호 모델과 비교해 NeSS는 사전 정의된 메타 문법 공간이 필요로 하거나 추론 시 검색이 필요로 하지 않아 효율성과 확장성 향상에 기여한다.