[논문 리뷰] Compositional generalization in a deep seq2seq model by separating syntax and semantics

Jacob Russin, Jason Jo외 2명|arXiv (Cornell University)|2019. 04. 22.

Natural Language Processing Techniques참고 문헌 28인용 수 86

한 줄 요약

논문은 Syntactic Attention를 소개한다, 구문(정렬)과 의미(단어-출력 매핑)를 분리한 이중 스트림 seq2seq 모델로, 추가 감독 없이 이전 모델을 능가하는 SCAN에서의 강력한 구성적 일반화를 달성한다.

ABSTRACT

Standard methods in deep learning for natural language processing fail to capture the compositional structure of human language that allows for systematic generalization outside of the training distribution. However, human learners readily generalize in this way, e.g. by applying known grammatical rules to novel words. Inspired by work in neuroscience suggesting separate brain systems for syntactic and semantic processing, we implement a modification to standard approaches in neural machine translation, imposing an analogous separation. The novel model, which we call Syntactic Attention, substantially outperforms standard methods in deep learning on the SCAN dataset, a compositional generalization task, without any hand-engineered features or additional supervision. Our work suggests that separating syntactic from semantic learning may be a useful heuristic for capturing compositional structure.

연구 동기 및 목표

• 합성적 일반화를 위한 신경 기제로서 구문과 의미의 분리를 동기화한다.
• 구문과 의미를 별도의 스트림으로 인코딩하는 Syntactic Attention 아키텍처를 제안하고 구현한다.
• SCAN에서 평가하며, add-jump 구성 일반화 분할에 초점을 맞춘다.
• 이전 모델들(GRU with attention, CNN)과 비교하고 시드에 따른 로버스트성을 분석한다.

제안 방법

• 두 개의 병렬 입력 인코딩을 도입한다: 의미 표현 m_j = W_m x_j (단어당 선형 변환) 와 문장에 대한 biRNN으로부터 얻은 구문 주석 h_j.
• 표준 어텐션 메커니즘을 통해 입력을 출력에 맞추기 위해 구문 표현 h_j 를 사용하여 어텐션을 계산한다 (e_ij = s_i • h_j).
• d_i 를 의미 표현의 가중합으로 형성하고 (d_i = sum_j α_ij m_j) 이를 이용해 y_i 를 생성한다.
• 분리를 유지한다: 의미는 다른 단어에 의존하지 않는 반면, 구문은 어텐션에 영향을 주는 시간적 의존성을 인코딩한다.
• e_ij에 도트 곱 어텐션을 사용하고 표준 LSTM/Adam 최적화를 사용한다; 인코더: 2‑층, 200 은닉 유닛; 디코더: 1‑층, 400 은닉 유닛; 의미 벡터 크기 120; dropout 0.5.
• 실험적으로 SCAN에서 검증하며, 특히 add-jump 분할에서 'jump'가 기본 형태를 제외하고는 보류되는 설정에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 구문과 의미의 분리가 seq2seq 모델의 구성적 일반화를 개선할 수 있는가?
• RQ2 구문 표현을 통해 어텐션이 작동하도록 강제하는 것이 보지 못한 구성으로의 외삽을 개선하는가?
• RQ3 분리를 완화하거나 변경하는 변형이 일반화에 어떤 영향을 미치는가?

주요 결과

모델	단순	길이	왼쪽으로 회전 추가	점프 추가
GRU + attn [4]	100.0 ± 0.0	18.1 ± 1.1	59.1 ± 16.8	12.5 ± 6.6
GRU + attn - dep [4]	100.0 ± 0.0	17.8 ± 1.7	90.8 ± 3.6	0.7 ± 0.4
CNN [8]	100.0 ± 0.0	-	-	69.2 ± 8.2
Syntactic Attention	100.0 ± 0.0	15.2 ± 0.7	99.9 ± 0.16	91.0 * ± 27.4

• Syntactic Attention은 SCAN add-jump에서 최상위 구성 일반화를 달성하며, 최적 실행에서 평균 정확도 91.0% (중앙값 91.0%)를 기록하고 기존 모델을 능가한다.
• 시드 간에 add-jump 성능이 분산을 보이며(평균 78.4%, 중앙값 91.0%), 초기화에 민감함을 시사한다.
• 단순 및 길이 분할에서 Syntactic Attention은 보고된 결과에서 각각 100.0%와 15.2%에 도달하여 GRU+attn 및 CNN 베이스라인을 능가한다.
• 추가 실험은 순차적 의미가 일반화를 저하시킨다는 것을 보여주며(예: sequential semantics: Add-jump 42.3±32.7), 반면 구문-작용(syntax-action; 구문이 출력에 영향을 주도록 허용)은 강한 성능을 유지한다(Add-jump 88.7±14.2).
• 전반적으로 구문과 의미의 분리를 강제하는 것은 수작업 엔지니어링이나 추가 감독 없이도 체계적 일반화를 향상시킨다.