[논문 리뷰] Binary and Multitask Classification Model for Dutch Anaphora Resolution: Die/Dat Prediction

Liesbeth Allein, Artuur Leeuwenberg외 1명|arXiv (Cornell University)|2020. 01. 09.

Natural Language Processing Techniques참고 문헌 12인용 수 6

한 줄 요약

이 논문은 네덜란드어 관계대명사 'die'와 'dat'의 올바른 사용을 예측하기 위한 신경망 모델을 제안한다. 이중선형LSTM 아키텍처를 사용한 이진 분류기는 84.56%의 정확도를 달성하였으며, 관계대명사 선택과 품사 태그를 동시에 예측하는 다중태스크 모델은 88.63%의 정확도를 기록하여, 통합된 품사 지식과 문맥 인코딩의 이점이 있음을 보여준다.

ABSTRACT

The correct use of Dutch pronouns 'die' and 'dat' is a stumbling block for both native and non-native speakers of Dutch due to the multiplicity of syntactic functions and the dependency on the antecedent's gender and number. Drawing on previous research conducted on neural context-dependent dt-mistake correction models (Heyman et al. 2018), this study constructs the first neural network model for Dutch demonstrative and relative pronoun resolution that specifically focuses on the correction and part-of-speech prediction of these two pronouns. Two separate datasets are built with sentences obtained from, respectively, the Dutch Europarl corpus (Koehn 2015) - which contains the proceedings of the European Parliament from 1996 to the present - and the SoNaR corpus (Oostdijk et al. 2013) - which contains Dutch texts from a variety of domains such as newspapers, blogs and legal texts. Firstly, a binary classification model solely predicts the correct 'die' or 'dat'. The classifier with a bidirectional long short-term memory architecture achieves 84.56% accuracy. Secondly, a multitask classification model simultaneously predicts the correct 'die' or 'dat' and its part-of-speech tag. The model containing a combination of a sentence and context encoder with both a bidirectional long short-term memory architecture results in 88.63% accuracy for die/dat prediction and 87.73% accuracy for part-of-speech prediction. More evenly-balanced data, larger word embeddings, an extra bidirectional long short-term memory layer and integrated part-of-speech knowledge positively affects die/dat prediction performance, while a context encoder architecture raises part-of-speech prediction performance. This study shows promising results and can serve as a starting point for future research on machine learning models for Dutch anaphora resolution.

연구 동기 및 목표

• 네덜란드어 관계대명사 'die'와 'dat'의 사용 오류를 자동으로 탐지하고 수정할 수 있는 신경망 모델을 개발한다.
• 다중태스크 학습 접근법이 관계대명사 선택과 품사 태그를 동시에 예측함으로써 예측 정확도를 향상시킬 수 있는지 조사한다.
• 단어 임베딩, 이중선형LSTM 레이어, 문맥 인코더와 같은 아키텍처 구성 요소가 모델 성능에 미치는 영향을 평가한다.
• 향후 네덜란드어에서 기계학습 기반의 관계대명사 해소 연구를 위한 기초 프레임워크를 구축한다.

제안 방법

• 네덜란드어 Europarl 및 SoNaR 코퍼스에서 'die'와 'dat'의 사용 사례를 포함한 문장들을 바탕으로 두 개의 데이터셋을 구축하였다.
• 이진 분류 모델은 이중선형LSTM를 사용하여 문맥상 'die' 또는 'dat' 중 어느 것이 올바른지 예측한다.
• 다중태스크 분류 모델은 관계대명사 선택과 그 품사 태그(지시형, 관계형, 종속어형)를 동시에 예측하는 방식으로 이진 모델을 확장한다.
• 모델은 문장 인코더와 문맥 인코더를 사용하며, 후자는 피드포워드 네트워크 또는 이중선형LSTM로 구현된다.
• 단어 임베딩을 확장하고, 품사 지식을 입력 표현에 통합하여 성능 향상을 도모하였다.
• 모델 성능은 테스트 세트에서의 정확도를 사용하여 평가하였으며, 아블레이션 연구를 통해 아키텍처 구성 요소의 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 문맥을 기반으로 신경망 모델이 네덜란드어 문장에서 'die' 또는 'dat' 중 올바른 관계대명사 선택을 정확히 예측할 수 있는가?
• RQ2 관계대명사 선택과 함께 품사 태그를 동시에 예측하는 것이 전체 예측 정확도를 향상시키는가?
• RQ3 단어 임베딩 크기, LSTM 레이어 수, 문맥 인코더 유형과 같은 아키텍처 선택이 모델 성능에 어떤 영향을 미치는가?
• RQ4 품사 지식을 통합할 경우, 모델이 'die'와 'dat'를 더 정확히 해소하는 데 얼마나 기여하는가?

주요 결과

• 이중선형LSTM를 사용한 이진 분류 모델은 'die' 또는 'dat' 예측에서 84.56%의 정확도를 달성하였다.
• 이중선형LSTM 문맥 인코더를 사용한 다중태스크 모델은 'die'/'dat' 예측에서 88.63%의 정확도와 품사 태깅에서 87.73%의 정확도를 기록하였다.
• 단어 임베딩 크기를 늘리고, 추가적인 이중선형LSTM 레이어를 추가하며, 품사 지식을 통합함으로써 'die'/'dat' 예측 성능이 크게 향상되었다.
• 특히 이중선형LSTM 버전의 문맥 인코더는 품사 태깅 정확도에 강력한 긍정적 영향을 미쳤다.
• 이중선형LSTM 문맥 인코더를 사용한 다중태스크 모델은 모든 평가 지표에서 다른 모든 구성보다 뛰어난 성능을 보였다.
• 결과적으로, 문법 지식과 문맥 모델링을 통합할 경우 네덜란드어 관계대명사 해소를 위한 신경망 모델의 성능 향상이 가능하다.