[논문 리뷰] Revisiting the poverty of the stimulus: hierarchical generalization without a hierarchical bias in recurrent neural networks

R. Thomas McCoy, Robert Frank외 1명|arXiv (Cornell University)|2018. 02. 25.

Natural Language Processing Techniques참고 문헌 19인용 수 47

한 줄 요약

논문은 순환 신경망이 고유의 계층 편향 없이 계층적 질문 형성을 학습할 수 있는지 테스트하고, 주의가 있는 하나의 GRU가 계층적으로 일반화하며 특히 입력에 일치 신호가 있을 때 더 잘 일반화된다는 것을 발견했다.

ABSTRACT

Syntactic rules in natural language typically need to make reference to hierarchical sentence structure. However, the simple examples that language learners receive are often equally compatible with linear rules. Children consistently ignore these linear explanations and settle instead on the correct hierarchical one. This fact has motivated the proposal that the learner's hypothesis space is constrained to include only hierarchical rules. We examine this proposal using recurrent neural networks (RNNs), which are not constrained in such a way. We simulate the acquisition of question formation, a hierarchical transformation, in a fragment of English. We find that some RNN architectures tend to learn the hierarchical rule, suggesting that hierarchical cues within the language, combined with the implicit architectural biases inherent in certain RNNs, may be sufficient to induce hierarchical generalizations. The likelihood of acquiring the hierarchical generalization increased when the language included an additional cue to hierarchy in the form of subject-verb agreement, underscoring the role of cues to hierarchy in the learner's input.

연구 동기 및 목표

• 비계층적으로 편향된 RNN이 제한된 데이터에서 계층적 질문 형성을 학습할 수 있는지 평가한다.
• 주제-동사 일치 여부가 있는 두 가지 언어 조각에서 여러 RNN 아키텍처를 평가한다.
• 계층으로의 입력 신호가 계층적 일반화의 등장에 어떤 영향을 미치는지 조사한다.
• 아키텍처 유형과 초기화가 일반화 동작에 어떤 영향을 미치는지 분석한다.

제안 방법

• 시퀀스-투-시퀀스 RNN(인코더–디코더)을 사용하여 평서문과 그것의 의문문 형태를 모델링한다.
• SRN, GRU, LSTM의 여섯 가지 아키텍처를, 주의 여부와 상관없이 두 가지 언어 조각(no-agreement 및 agreement)에 대해 테스트한다.
• 아키텍처당 100개의 네트워크를 훈련시켜 총 1200개를, 120,000문장을 학습하고 10,000문장 테스트 세트와 10,000문장 일반화 세트에서 평가한다.
• 두 가지 과제를 학습한다: identity (IDENT)와 question formation (QUEST); 일반화 세트에는 선형 및 계층적 가설을 구분하는 문장 유형이 보류되어 있다.
• 일차 출력 보조 수를 일반화 세트에서 선형적으로 서로 다르고 계층적으로 서로 다를 때 예측이 계층적 규칙과 일치하는지 여부를 평가한다.

실험 결과

연구 질문

• RQ1 GRU/LSTM/GRU-with-attention 네트워크가 명시적 계층 편향 없이 계층적 주어-조동사 역전(inversion)을 학습할 수 있는가?
• RQ2 계층 신호를 제공하는 것이(주어–동사 일치) 계층적 일반화의 가능성을 높이는가?
• RQ3 다른 RNN 아키텍처와 초기화가 계층적 일반화 결과에 어떤 영향을 미치는가?
• RQ4 네트워크가 인간의 통사 일반화 오류와 비교해 어떤 오류를 범하는지, 그리고 이것이 학습 편향에 대해 무엇을 보여주는가?

주요 결과

• 모든 여섯 가지 아키텍처 중 일반 SRN을 제외한 모든 접근법이 테스트 세트에서 94% 이상의 정확도를 달성; 최상은 99.9%였으며 (LSTM without attention).
• 일반화 세트에서 최상의 아키텍처(GRU with attention)에서 정확히 맞은 질문은 약 13%에 불과했다.
• 입력에 일치를 추가하면 아키텍처 전반에서 계층적 일반화의 가능성이 증가했다.
• 초기화는 각 아키텍처의 정확도에 차이를 보였으며, 이는 무작위 시작 간에 편향이 균일하게 강하지 않음을 시사한다.
• GRU with attention은 다른 아키텍처와 달리 선형 규칙이 지배하는 경향에서 계층적 일반화로의 질적 변화를 보였으며, attention은 GRU.concat에 차이를 만들었다.
• GRU with attention은 선형 순서를 넘어서 정보를 인코딩했으며, 일반화가 순수한 선형 표현보다 계층적 신호에 의존했음을 시사한다.