[논문 리뷰] Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning

Deniz Beser|arXiv (Cornell University)|2021. 05. 08.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 변환기(Transformer)와 RNN 아키텍처가 형태규칙 학습의 모델로써 어떻게 작용하는지 평가하며, 특히 생산적인 파생형태 패턴을 일반화하는 능력에 초점을 맞춘다. 표준 과제에서 뛰어난 성능을 보이는 변환기임에도 불구하고, 양 모델는 모국어 사용자가 사용하지 않는 러시아어 동사의 파생형을 생성한다—이는 언어적 빈도가 없는 부분을 포착하지 못함을 보여주며, 언어 학습의 신경망 모델에 구조적 사전 지식이 필요함을 시사한다.

ABSTRACT

Recent advances in neural architectures have revived the problem of morphological rule learning. We evaluate the Transformer as a model of morphological rule learning and compare it with Recurrent Neural Networks (RNN) on English, German, and Russian. We bring to the fore a hitherto overlooked problem, the morphological gaps, where the expected inflection of a word is missing. For example, 63 Russian verbs lack a first-person-singular present form such that one cannot comfortably say "*o\\v{s}\\v{c}u\\v{s}\\v{c}u" ("I feel"). Even English has gaps, such as the past participle of "stride": the function of morphological inflection can be partial. Both neural architectures produce inflections that ought to be missing. Analyses reveal that Transformers recapitulate the statistical distribution of inflections in the training data, similar to RNNs. Models' success on English and German is driven by the fact that rules in these languages can be identified with the majority forms, which is not universal.

연구 동기 및 목표

• 최신 신경망 모델인 변환기 아키텍처가 RNN보다 더 나은 형태규칙 학습의 인지 모델이 될 수 있는지 평가하는 것.
• 신경망 아키텍처가 인간과 유사한 일반화를 반영하는 생산적인 형태규칙을 학습할 수 있는지, 특히 다수의 형태가 아닌 경우나 형태규칙의 빈도가 없는 경우에 대해 조사하는 것.
• 훈련 데이터의 분포 패턴에 민감하게 반응하여 유추 오류나 과도한 일반화를 보이는지, 이러한 형태가 모국어 사용자에게 자연스럽지 않은 경우에도 조사하는 것.
• 이미 알려진 형태규칙의 빈도가 없는 단어에 대해 모델이 인간처럼 파생형을 거부하는 것을 암묵적으로 학습할 수 있는지 평가하는 것.
• 형태규칙의 빈도가 없는 부분을 신경망 언어 모델의 인지적 타당성 평가를 위한 진단 도구로 제안하는 것.

제안 방법

• 영어, 독일어, 러시아어에서 수집한 형태적 파생 데이터를 기반으로 변환기와 RNN의 순서-순서 모델을 훈련시킴.
• 표준 훈련 세트와 63개의 러시아어 동사로 구성된 특수 테스트 세트를 사용함—이들 동사는 제1인칭 단수 현재형이 존재하지 않는 형태규칙의 빈도가 없는 경우임.
• 모델의 신뢰도를 예측된 파생형의 가능도 점수를 통해 측정하여, 빈도가 없는 동사에서의 어려움을 평가함.
• 일반 동사와 빈도가 없는 동사 간의 예측을 비교하여, 암묵적인 거부 능력 여부를 확인함.
• 다양한 언어적 현상에서의 모델 행동 분석: 영어 과거형(다수의 규칙), 독일어 복수형(비다수의 생산성), 러시아어 빈도가 없는 부분(구조적 부재).
• 통계적 상관관계와 유사도 지표를 사용하여 변환기와 RNN 모델 간의 예측을 비교하고, 다양한 조건에서의 일관성 평가함.

실험 결과

연구 질문

• RQ1 변환기 아키텍처가 다수의 형태가 아닌 경우에도 인간과 유사한 생산성에 맞는 형태규칙을 일반화할 수 있는가?
• RQ2 변환기와 RNN 같은 신경망 아키텍처가 이전 모델에서 관찰된 것과 유사한 유추적·분포적 편향을 보이며, 특히 파생형의 과도한 일반화를 보이는가?
• RQ3 모델이 모국어 사용자에게 존재하지 않는 형태규칙의 빈도가 없는 동사의 파생형을 예측할 때, 신뢰도가 감소하거나 불확실성이 증가하는가?
• RQ4 모델가 훈련 데이터의 파생형 분포를 얼마나 잘 반영하는가—특히 모국어 사용자가 사용하지 않는 형태조차도 말이다?
• RQ5 형태규칙의 빈도가 없는 부분을 신경망 순서 모델의 인지적 타당성 평가를 위한 진단 기준으로 사용할 수 있는가?

주요 결과

• 변환기와 RNN 모델 모두 모국어 사용자가 사용하지 않는 63개의 러시아어 동사에 대해 제1인칭 단수 현재형을 생성하여, 형태규칙의 빈도가 없는 부분을 존중하지 못함을 보여줌.
• 빈도가 없는 동사 테스트 세트에서 모델의 신뢰도가 유의미하게 감소하지 않았음: RNN의 신뢰도는 0.95(σ=0.12)에서 0.86(σ=0.18)로 감소했고, 변환기의 경우 0.46(σ=0.11)에서 0.39(σ=0.13)로 감소하여 일반 동사와 빈도가 없는 동사 간의 의미 있는 차이가 없음.
• 두 아키텍처 간의 모델 예측이 높은 상관관계를 보이며, 아키텍처의 차이와는 무관하게 유사한 분포 일반화 행동을 보임.
• 표준 NLP 과제에서 더 뛰어난 성능을 보이는 변환기임에도 불구하고, 비다수의 생산성이나 구조적 부재의 경우에 인간과 유사한 형태규칙 학습을 모델링하는 데서 RNN과 비교해 유의미한 우월성이 없음.
• 모델의 행동은 언어적 구조보다는 파생형의 통계적 분포를 학습함을 시사하며, RNN과 동일한 방식으로 과도한 일반화를 보임.
• 이 연구는 형태규칙의 빈도가 없는 부분이 신경망 언어 모델의 인지적 타당성 평가를 위한 유효한 진단 도구임을 입증하며, 두 아키텍처 모두 모국어 사용자의 제약 조건을 반영하지 못함을 보여줌.