[논문 리뷰] Compositional Generalization for Primitive Substitutions

Yuanpeng Li, Liang Zhao외 2명|arXiv (Cornell University)|2019. 10. 07.

Natural Language Processing Techniques참고 문헌 36인용 수 10

한 줄 요약

이 논문은 입력 문장을 위한 두 가지 별개의 표현 방식을 사용함으로써 조합적 일반화를 향상시키는 새로운 신경망 아키텍처를 제안한다: 하나는 어텐션 맵을 생성하기 위한 것이고, 다른 하나는 주목된 단어를 출력 기호에 매핑하기 위한 것이다. 두 표현 모두 엔트로피를 감소시킴으로써 모델은 조합적 일반화 작업에서 최고 성능을 달성하며, SCAN 점프 작업에서 정확도를 14.0%에서 98.8%로 향상시키고, TurnLeft 작업에서는 92.0%에서 99.7%로 향상시켰다. 또한, 소수의 예제 학습 벤치마크에서 인간을 뛰어넘는 성능을 기록하였다.

ABSTRACT

Compositional generalization is a basic mechanism in human language learning, but current neural networks lack such ability. In this paper, we conduct fundamental research for encoding compositionality in neural networks. Conventional methods use a single representation for the input sentence, making it hard to apply prior knowledge of compositionality. In contrast, our approach leverages such knowledge with two representations, one generating attention maps, and the other mapping attended input words to output symbols. We reduce the entropy in each representation to improve generalization. Our experiments demonstrate significant improvements over the conventional methods in five NLP tasks including instruction learning and machine translation. In the SCAN domain, it boosts accuracies from 14.0% to 98.8% in Jump task, and from 92.0% to 99.7% in TurnLeft task. It also beats human performance on a few-shot learning task. We hope the proposed approach can help ease future research towards human-level compositional language learning.

연구 동기 및 목표

• 신경망의 조합적 일반화 부족으로 인해 기존에 알려진 언어적 구성 요소의 새로운 조합으로 일반화하는 능력이 제한되는 문제를 해결하기 위해.
• 일반적인 표현 모델이 순서-순서 변환 작업에서 조합성의 사전 지식을 효과적으로 활용하지 못하는 한계를 극복하기 위해.
• 지시어 학습과 기계 번역에서 제로샷 및 소수의 예제 학습 일반화를 향상시키기 위해, 구조적이고 기능적인 조합성을 명시적으로 인코딩하기 위해.
• 이중 표현에 대한 엔트로피 정규화가 새로운 조합적 구조로의 강건한 일반화를 가능하게 한다는 것을 보여주기 위해.

제안 방법

• 모델은 두 개의 병렬 표현을 사용한다: 입력 단어에 대한 어텐션 맵을 생성하는 '기능 표현'과 주목된 단어를 출력 기호에 매핑하는 '기초 표현'이다.
• 기능 표현은 입력 문장의 관련 단어에 주목함으로써 행동 예측를 안내하는 어텐션 맵을 생성한다.
• 기초 표현은 알려진 기초 요소들(예: '점프', '좌회전')을 인코딩하며, 주목된 입력 단어를 바탕으로 출력 행동을 디코딩하는 데 사용된다.
• 학습 중에 두 표현 모두 엔트로피를 감소시켜 분리된, 낮은 엔트로피의 표현을 장려함으로써 더 나은 일반화를 지원한다.
• 모델는 조합성에 대한 명시적 지도 없이도, 순서-순서 예측 작업에서 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련된다.
• 방법은 조합적 일반화와 문법적 일반화를 평가하기 위해 SCAN, SCAN-ADJ 및 지시어 학습 및 기계 번역 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 이중 표현을 가진 신경망 아키텍처가 단일 표현 모델을 뛰어넘어 조합적 일반화를 향상시킬 수 있는가?
• RQ2 기능 표현과 기초 표현에 대한 엔트로피 정규화가 순서-순서 작업에서 제로샷 및 소수의 예제 학습 일반화를 향상시키는가?
• RQ3 제안된 방법은 '점프 두 번'이나 '점프 후에 좌회전'과 같은 새로운 조합적 구조로 일반화할 수 있는가?
• RQ4 조합적 일반화를 포함한 소수의 예제 학습 시나리오에서 모델은 인간 성능을 뛰어넘는가?
• RQ5 이 방법은 SCAN의 비조합적 작업(예: Simple 및 Length 작업)에서 성능을 어느 정도 유지하는가?

주요 결과

• 제안된 방법은 SCAN 점프 작업에서 98.8%의 정확도를 달성하여 이전 최고 성능인 14.0%에서 크게 향상되었다.
• TurnLeft 작업에서는 99.7%의 정확도를 기록하여 이전 연구의 92.0%에서 크게 향상되었으며, 강력한 조합적 일반화 능력을 보였다.
• 소수의 예제 학습 변형된 SCAN 작업에서 인간 성능을 뛰어넘는 성능을 기록하였으며, 이는 신경망이 이러한 설정에서 인간을 처음으로 뛰어넘은 사례이다.
• 제거 실험에서 두 표현 모두에 대한 엔트로피 정규화가 핵심적임을 확인하였으며, 이를 제거하면 성능이 크게 하락하였다.
• 비조합적 작업(예: Simple 및 Length 작업)에서도 뛰어난 성능을 유지하였으며, 각각 99.9% 및 20.3%의 정확도를 기록하여 표준 순서 모델링에 부정적인 영향을 주지 않았다.
• 이 방법은 지시어 학습 및 기계 번역 작업으로도 효과적으로 일반화되어, 합성 벤치마크를 넘어서 광범위한 적용 가능성을 보였다.