[논문 리뷰] Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies

Tal Linzen, Emmanuel Dupoux외 1명|arXiv (Cornell University)|2016. 11. 04.

Topic Modeling참고 문헌 46인용 수 27

한 줄 요약

이 논문은 장단기 기억(LSTM) 네트워크가 명시적인 문법적 지도 없이 문법적으로 민감한 의존 관계—특히 영어 주어-동사 수 일치—를 학습할 수 있는지 조사한다. 명시적 지도(수 예측 및 문법적 타당성 판단)를 사용할 경우, LSTMs는 쉬운 케이스에서는 높은 정확도를 달성하지만, 특히 기능어가 없는 경우 구조적으로 복잡한 문장에서는 어려움을 겪는다. 반면 언어 모델링만으로는 이러한 의존 관계를 포착하지 못하며, 이는 LSTMs에서 문법적 구조를 학습하기 위해 직접적 지도가 필수적임을 시사한다.

ABSTRACT

The success of long short-term memory (LSTM) neural networks in language processing is typically attributed to their ability to capture long-distance statistical regularities. Linguistic regularities are often sensitive to syntactic structure; can such dependencies be captured by LSTMs, which do not have explicit structural representations? We begin addressing this question using number agreement in English subject-verb dependencies. We probe the architecture's grammatical competence both using training objectives with an explicit grammatical target (number prediction, grammaticality judgments) and using language models. In the strongly supervised settings, the LSTM achieved very high overall accuracy (less than 1% errors), but errors increased when sequential and structural information conflicted. The frequency of such errors rose sharply in the language-modeling setting. We conclude that LSTMs can capture a non-trivial amount of grammatical structure given targeted supervision, but stronger architectures may be required to further reduce errors; furthermore, the language modeling signal is insufficient for capturing syntax-sensitive dependencies, and should be supplemented with more direct supervision if such dependencies need to be captured.

연구 동기 및 목표

• LSTMs가 명시적인 문법적 애너테이션 없이 주어-동사 수 일치와 같은 문법적으로 민감한 의존 관계를 학습할 수 있는지 평가하기 위해.
• 다양한 학습 목표—명시적 수 예측, 문법적 타당성 판단, 언어 모델링—가 문법 일반화에 미치는 효과를 평가하기 위해.
• LSTMs가 구조적 표현보다 표면적 신호에 의존하는 실패 케이스를 특정하기 위해.
• 언어 모델링만으로도 계층적인 문법적 의존 관계를 학습하는 데 충분한지 조사하기 위해.

제안 방법

• 대규모 위키백과 코퍼스에서 학습하여 앞선 명사에 기반해 동사 수를 예측하도록 LSTMs를 훈련시키기 위해.
• 주어-동사 일치를 위한 명시적 타겟 레이블을 제공하는 감독된 수 예측 작업을 사용하기 위해.
• 다양한 정도의 문법적 복잡도를 가진 보류된 테스트 세트에서 성능을 평가하기 위해, 특히 반대 수의 중간 명사가 있는 경우를 포함하기 위해.
• 세 가지 학습 제도—수 예측, 문법적 타당성 판단, 다음 단어 언어 모델링—간의 결과를 비교하기 위해.
• 기능어와 구조적 신호에 대한 의존도를 판단하기 위해 오류 패턴 분석하기 위해.
• 구조적 표현 학습의 정도를 평가하기 위해 활성화 패턴에 대한 정성적 분석 수행하기 위해.

실험 결과

연구 질문

• RQ1 LSTMs는 명시적인 문법적 지도 없이 주어-동사 수 일치를 학습할 수 있는가?
• RQ2 강한 지도 작업(예: 수 예측)과 약한 지도 작업(예: 문법적 타당성 판단) 간의 성능 차이는 어떻게 변화하는가?
• RQ3 언어 모델링만으로도 LSTMs에서 문법적으로 민감한 의존 관계를 학습하는 데 충분한가?
• RQ4 어떤 종류의 문법적 구조가 LSTMs 모델에서 더 높은 오류율을 초래하는가?
• RQ5 LSTMs가 문법적 구조보다 표면적 신호(예: 기능어)에 얼마나 의존하는가?

주요 결과

• 수 예측 작업에서 LSTM은 쉬운 케이스에서는 1% 미만의 오류율을 기록했지만, 반대 수의 네 개의 중간 명사가 있는 어려운 케이스에서는 17%의 오류를 기록했다.
• 기능어가 없는 경우, 예를 들어 명사-명사 복합어나 축약된 관계절에서 오류율이 크게 증가하여 표면적 신호에 과도하게 의존하고 있음을 시사한다.
• 문장 수준의 레이블만 제공하고 잘못된 동사를 특정하지 않는 문법적 타당성 판단 작업은 수 예측 작업에 비해 오류율이 약간만 증가했다.
• 명시적인 문법적 지도 없이 언어 모델링만 수행한 경우, 어려운 일치 케이스에서는 우연보다도 못한 성능을 보였으며, 이는 수 예측 설정에 비해 오류율이 5배 이상 높았다.
• 심지어 최첨단 대규모 언어 모델조차도 문법적으로 관련이 없는 최근의 명사에 매우 민감하게 반응하여 언어 모델링 목표만으로는 문법적으로 민감한 의존 관계를 포착하는 데 부족함을 확인했다.
• 결과적으로, 더 강한 아키텍처의 유도적 편향 또는 명시적 지도와의 공동 훈련이 순차 모델에서 신뢰할 수 있는 문법 일반화를 위해 필요하다는 것이 제안된다.