[논문 리뷰] Can LSTM Learn to Capture Agreement? The Case of Basque

Shauli Ravfogel, Francis M. Tyers외 1명|arXiv (Cornell University)|2018. 09. 11.

Natural Language Processing Techniques참고 문헌 16인용 수 10

한 줄 요약

이 논문은 베스커어(ergative-absolutive alignment과 풍부한 형태적 특징을 지닌 언어)에서 LSTMs가 문법적 일치를 암묵적으로 학습할 수 있는지 조사한다. 접미사 복원 및 동사 수 예측 작업을 통해 훈련했음에도 불구하고, 모델의 성능은 영어에 비해 열등하며, 깊은 문법적 구조보다 국소적 힌트에 의존함을 보여, 베스커어 일치는 신경망 모델의 문법 일반화 능력을 평가하는 데 어려운 기준이 되는 것으로 나타났다.

ABSTRACT

Sequential neural networks models are powerful tools in a variety of Natural Language Processing (NLP) tasks. The sequential nature of these models raises the questions: to what extent can these models implicitly learn hierarchical structures typical to human language, and what kind of grammatical phenomena can they acquire? We focus on the task of agreement prediction in Basque, as a case study for a task that requires implicit understanding of sentence structure and the acquisition of a complex but consistent morphological system. Analyzing experimental results from two syntactic prediction tasks -- verb number prediction and suffix recovery -- we find that sequential models perform worse on agreement prediction in Basque than one might expect on the basis of a previous agreement prediction work in English. Tentative findings based on diagnostic classifiers suggest the network makes use of local heuristics as a proxy for the hierarchical structure of the sentence. We propose the Basque agreement prediction task as challenging benchmark for models that attempt to learn regularities in human language.

연구 동기 및 목표

• LSTM이 베스커어에서 일치 예측을 통해 계층적 문법적 구조를 암묵적으로 학습할 수 있는지 평가하기.
• 이전의 영어 및 다른 인도·계열 언어 연구와 비교하여, 베스커어 일치 작업에서의 성능 평가하기.
• 진단 분류기( diagnostic classifiers )가 LSTM 히든 상태에 인코딩된 문법 일반화를 드러내는지 조사하기.
• 베스커어 일치 예측을 신경 시퀀스 모델의 문법 능력 평가를 위한 도전적인 기준으로 제안하기.

제안 방법

• 저자들은 두 가지 작업을 설계하였다: 동사 수 예측 및 접미사 복원. 비약전된 베스커어 코퍼스를 사용하여 일치 데이터를 수집하였다.
• 이들 작업에 대해 양방향 LSTM(BiLSTMs)을 훈련하고 정확도 지표를 사용하여 성능을 평가하였다.
• 진단 분류기(두 개의 은닉층을 가진 MLP)를 최종 히든 상태에 대해 훈련하여 사례, 수, 품사(POS), 의존 관계를 예측하였다.
• 예측이 올바른지 잘못된지에 관계없이 모델의 성능을 평가하여, 예측에 실패했을 때도 문법 정보가 히든 상태에 인코딩되어 있는지 확인하였다.
• 상태 표현 추출 및 진단 훈련에 대해 베스커어 Universal Dependencies 데이터셋을 사용하였다.
• 의도적으로 모호한 접미사와 다양한 수의 일치 유인자를 포함한 제어된 설정을 통해 모델의 강건성 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 베스커어는 에르게티브-아볼루티브 구조와 풍부한 형태적 특징을 지닌 언어이지만, LSTMs가 영어와 동일한 정도로 일치 패턴을 학습할 수 있는가?
• RQ2 BiLSTM 모델이 일치 예측에서 계층적 문법적 구조보다 국소적 신호에 얼마나 의존하는가?
• RQ3 접미사 복원 작업을 통해 훈련된 모델의 히든 상태에 어떤 문법 일반화(예: 사례, 수, 품사)가 인코딩되어 있는가?
• RQ4 일치 예측 성능이 떨어질수록 히든 표현에 기초적인 문법 정보가 인코딩되지 못하는가와 관련이 있는가?
• RQ5 모델의 예측이 잘못되었을 때도 진단 분류기가 문법적 규칙을 탐지할 수 있는가?

주요 결과

• BiLSTM 모델은 동사 수 예측에서 56.2%의 정확도, 접미사 복원에서 62.1%의 정확도를 기록하였으며, 영어에서의 유사 작업 성능에 비해 뚜렷이 낮았다.
• 일치 유인자의 수가 증가함에 따라 성능이 악화되었으며, 네 개의 유인자가 있을 경우 무작위 수준 이하로 떨어져 국소적 힌트에 의존하고 있음을 시사했다.
• 정확히 예측된 단어에 대해 진단 분류기는 수 예측에서 95.0%, 사례 예측에서 93.5%의 정확도를 기록하여 강력한 문법 특징 인코딩을 보였다.
• 예측이 잘못된 단어에 대해서도 진단 모델은 수 예측에서 74.7%, 사례 예측에서 69.7%의 정확도를 기록하여 부분적인 문법 정보가 인코딩되어 있음을 보여주었다.
• 모델은 형태구문적 정렬, 수, 품사 등 일반화를 학습하였으며, 진단 분류기는 모든 단어에서 품사 예측에서 87.5%의 정확도, 사례 예측에서 85.7%의 정확도를 기록하였다.
• 접미사 복원 성공은 모델이 가장 가까운 동사를 추론할 수 있는 능력과 관련이 있었으며, BiLSTM 예측이 올바를 경우 선형 모델 성공률이 14% 향상되었다.