[논문 리뷰] Can RNNs learn Recursive Nested Subject-Verb Agreements?

Yair Lakretz, Théo Desbordes외 4명|arXiv (Cornell University)|2021. 01. 06.

Topic Modeling참고 문헌 35인용 수 13

한 줄 요약

이 논문은 순환 신경망(RNNs)이 장거리 의존성과 계층적 구조를 필요로 하는, 재귀적 중첩된 주어-동사 일치와 같은 문법적 과제를 학습할 수 있는지 조사한다. 다양한 RNN 아키텍처—LSTM, GRU, ON-LSTM, 스택-RNN, 스택-LSTM—에 대한 체계적 실험을 통해 표준 RNN은 훈련 분포를 초월해 일반화하지 못하는 반면, 스택 기반 모델은 깊이와 간격이 증가함에 따라 재귀적 의존성을 부분적으로 포착하는 데 성공함을 보여준다.

ABSTRACT

One of the fundamental principles of contemporary linguistics states that language processing requires the ability to extract recursively nested tree structures. However, it remains unclear whether and how this code could be implemented in neural circuits. Recent advances in Recurrent Neural Networks (RNNs), which achieve near-human performance in some language tasks, provide a compelling model to address such questions. Here, we present a new framework to study recursive processing in RNNs, using subject-verb agreement as a probe into the representations of the neural network. We trained six distinct types of RNNs on a simplified probabilistic context-free grammar designed to independently manipulate the length of a sentence and the depth of its syntactic tree. All RNNs generalized to subject-verb dependencies longer than those seen during training. However, none systematically generalized to deeper tree structures, even those with a structural bias towards learning nested tree (i.e., stack-RNNs). In addition, our analyses revealed primacy and recency effects in the generalization patterns of LSTM-based models, showing that these models tend to perform well on the outer- and innermost parts of a center-embedded tree structure, but poorly on its middle levels. Finally, probing the internal states of the model during the processing of sentences with nested tree structures, we found a complex encoding of grammatical agreement information (e.g. grammatical number), in which all the information for multiple words nouns was carried by a single unit. Taken together, these results indicate how neural networks may extract bounded nested tree structures, without learning a systematic recursive rule.

연구 동기 및 목표

• 합성 문법적 구조에서 순환 신경망이 재귀적 중첩된 주어-동사 일치를 학습할 수 있는지 평가하기.
• 깊이와 간격 측면에서 다양한 RNN 아키텍처의 일반화 능력을 훈련 분포를 초월해 평가하기.
• 스택 기반 메모리나 청크 단위 계산과 같은 아키텍처의 인덕티브 바이어스가 계층적 문법적 의존성을 학습하는 데 기여하는 방식을 조사하기.
• 다양한 단수/복수 주어의 확률로 훈련된 모델이 더 길거나 더 복잡한 재귀적 구조로 일반화할 수 있는지 결정하기.

제안 방법

• 단수/복수 주어에 대한 제어된 확률(p1, p2)을 가진 합성 데이터셋을 생성하였으며, 주어와 동사 사이의 깊이(d)와 간격(s)을 다양하게 조절함.
• 표준 LSTM, GRU, ON-LSTM, 스택-RNN, 스택-LSTM 등의 다양한 RNN 아키텍처를 훈련하였으며, 레이어 수, 은닉 유닛 수, 임bedding 크기, 드롭아웃 등 하이퍼파라미터를 체계적으로 변조함.
• ADAM 옵tim자와 고정된 학습률 1e-3을 사용하여 20 에포크(스택 모델은 3 에포크) 동안 훈련하고, 검증 퍼플렉서티 기반 조기 정지 기법 적용.
• 증가하는 깊이와 간격을 가진 문장에서 동사의 수동 일치 작업에 대해 성능을 평가하며 정확도 측정.
• 세포 동역학과 주성분 분석(PCA)을 활용해 내부 표현을 분석하여, 특히 카운터 유사 또는 계층적 상태 패턴을 탐지함.
• 다양한 (d, s) 조합에 대해 테스트 퍼플렉서티와 정확도 행렬을 시각화하여 훈련 분포를 초월한 일반화 능력 평가.

실험 결과

연구 질문

• RQ1 표준 RNN, 예를 들어 LSTM과 GRU는 훈련 중에 관찰한 최대 깊이와 간격을 초월한 재귀적 주어-동사 일치에 대해 일반화할 수 있는가?
• RQ2 스택-RNN이나 ON-LSTM과 같은 아키텍처 혁신은 표준 RNN보다 재귀적 문법적 의존성에 대한 일반화 능력을 향상시키는가?
• RQ3 훈련 데이터 분포의 변화(p1, p2)가 모델 성능과 예측되지 않은 (d, s) 조합에 대한 일반화 능력에 미치는 영향은 어떠한가?
• RQ4 훈련된 모델의 내부 세포 상태가 카운팅 또는 재귀적 의존성 추적과 일치하는 역학을 보이는가?
• RQ5 ON-LSTM 및 스택 기반 모델의 어텐션 또는 메모리 메커니즘이 계층적 문법적 구조 학습에 얼마나 기여하는가?

주요 결과

• 표준 LSTM과 GRU는 훈련 중에 관찰한 최대 깊이와 간격을 초월한 재귀적 구조에 대해 일반화하지 못했으며, 예측되지 않은 (d, s) 조합에서 거의 0에 가까운 정확도를 기록함.
• ON-LSTM는 표준 LSTM보다 성능이 향상되었으며, 특히 장거리 간격 처리에 유리했지만, 더 깊은 재귀적 구조에 대해서는 여전히 일반화하지 못함.
• 스택-RNN과 스택-LSTM는 가장 뛰어난 일반화 능력을 보였으며, 깊이 d=3과 간격 s=12의 더 깊은 구조와 더 긴 간격에서도 비현저한 정확도를 달성함. 다만 훈련 한계를 초월하면 성능이 크게 떨어짐.
• 세포 상태의 PCA 분석 결과, 성공한 모델에서 카운터 유사 역학이 드러나, 상태의 진화를 통해 중첩된 의존성의 수를 추적하는 방식으로 학습하고 있음을 시사함.
• 검증 퍼플렉서티 기반으로 최적의 모델을 선정하였으며, 균형 잡힌 데이터(p1=p2=0.5)로 훈련한 모델이 편향된 분포로 훈련한 모델보다 더 우수한 일반화 성능을 보임.
• 세포 동역학의 시각화 결과, 성공한 모델가 시간 단계에 걸쳐 주어의 수와 중첩 깊이를 구분되고 안정적인 상태 패턴을 통해 인코딩함.