[논문 리뷰] Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models

Ling Liu, Mans Hulden|arXiv (Cornell University)|2021. 04. 13.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 'wug 테스트' 조건에서 볼 수 없는 어간을 포함한 형태소 축약에서 Transformer의 일반화 능력을 향상시키기 위해 서브스트링 기반 데이터 환각 기법을 제안한다. 이는 랜덤 문자 대신 음절 유사 서브스트링(이음, 삼음, 사음)을 사용하여 합성 훈련 예제를 생성함으로써 이루어진다. 이 방법은 기존의 문자 수준 및 어간 기반 환각 기법보다 유의미하게 뛰어난 성능을 보이며, 특히 훈련 및 테스트 데이터 간 어간 겹침이 없는 제로샷 일반화 시나리오에서 뛰어난 성능을 발휘한다.

ABSTRACT

Deep learning sequence models have been successfully applied to the task of morphological inflection. The results of the SIGMORPHON shared tasks in the past several years indicate that such models can perform well, but only if the training data cover a good amount of different lemmata, or if the lemmata that are inflected at test time have also been seen in training, as has indeed been largely the case in these tasks. Surprisingly, standard models such as the Transformer almost completely fail at generalizing inflection patterns when asked to inflect previously unseen lemmata -- i.e. under "wug test"-like circumstances. While established data augmentation techniques can be employed to alleviate this shortcoming by introducing a copying bias through hallucinating synthetic new word forms using the alphabet in the language at hand, we show that, to be more effective, the hallucination process needs to pay attention to substrings of syllable-like length rather than individual characters or stems. We report a significant performance improvement with our substring-based hallucination model over previous data hallucination methods when training and test data do not overlap in their lemmata.

연구 동기 및 목표

• 훈련 및 테스트 어간이 겹치는 표준 설정에서는 뛰어난 성능를 보이지만, 테스트 시에 볼 수 없는 어간을 처리할 때 Transformer가 제로샷 형태소 축약에서 실패하는 이유를 규명하는 것.
• 'wug 테스트' 조건에서 모델이 이전에 본 적 없는 어간의 축약 패턴을 일반화하지 못하는 복사 편향의 부재 문제를 해결하는 것.
• 랜덤 문자 생성보다 더 나은 형태소적 구조를 반영하는 합성 데이터 환각을 통한 데이터 증강을 통해 일반화 능력을 향상시키는 것.
• 음절 유사 길이의 서브스트링(예: 이음, 삼음)을 사용한 환각이 문자 수준 또는 어간 수준의 환각보다 일반화 성능을 향상시키는지 평가하는 것.

제안 방법

• 실제 훈련 예제의 어간을 훈련 데이터에서 유도된 이음, 삼음, 사음의 집합에서 샘플링한 더미 어간으로 대체하여 합성된 (어간, 태그, 형태) 삼중항을 생성한다.
• 레퍼런스와 목표 형태 사이의 공통 서브스트링을 식별하기 위해 SIGMORPHON 2016 기준 정렬 방법을 사용하여 어간 정렬을 수행한다.
• 더미 어간은 훈련 데이터에서 관찰된 길이 범위 내에 있도록 제약을 두어 구조적 타당성을 확보한다.
• 불연속적인 어간의 경우, 단순성과 복잡성 방지를 위해 첫 번째 세그먼트만 대체한다.
• 환각된 데이터를 원본 훈련 세트에 추가하여 Transformer 모델을 훈련하기 위한 새로운 증강된 데이터 세트를 생성한다.
• 이 방법은 문자 수준 환각(알파벳에서 랜덤으로 생성된 문자열) 및 기존 최고 성능를 기록한 어간 기반 환각(Anastasopoulos & Neubig, 2019)과 비교된다.

실험 결과

연구 질문

• RQ1 풍부한 훈련 데이터가 존재함에도 불구하고, 볼 수 없는 어간을 축약할 때 Transformer가 왜 형태소 축약 패턴을 일반화하지 못하는가?
• RQ2 환각을 통한 데이터 증강이 형태소 축약의 제로샷 일반화 능력에 얼마나 기여하는가?
• RQ3 환각 단위의 선택—개별 문자, 어간, 또는 음절 유사 서브스트링—이 'wug 테스트' 시나리오에서 모델 성능에 영향을 미치는가?
• RQ4 서브스트링 기반 환각이 문자 수준 또는 어간 수준 환각보다 복사 편향과 일반화 능력을 향상시키는 데 효과적인가?

주요 결과

• 기본 Transformer 모델은 어간 겹침이 없는 'wug 테스트' 시나리오에서 완전히 실패하며, 표준 훈련 설정보다 유의미하게 낮은 정확도를 기록한다.
• 어간을 랜덤으로 생성된 문자열(예: 알파벳에서 추출)로 대체하는 것은 성능 향상을 이끌지만, 형태소적 구조가 부족하여 여전히 최적의 성능을 내지 못한다.
• 음절 유사 길이의 서브스트링(이음, 삼음, 사음)을 사용한 환각은 문자 수준 및 이전 어간 기반 방법보다 유의미한 성능 향상을 이룬다.
• 제안된 서브스트링 기반 환각 방법(+hall-2k-substr)은 대부분의 언어에서 'wug 테스트' 설정에서 가장 높은 정확도를 기록했으며, Anastasopoulos & Neubig (2019) 및 문자 수준 환각을 모두 초월한다.
• 터키어와 니아냐어의 경우 성능 향상은 통계적으로 유의미하지 않지만, 여전히 경쟁 가능한 성능를 기록한다.
• 데이터 증강을 통해 성능은 향상되었지만 표준 실무 설정 수준에는 못 미치며, 이는 완전한 일반화가 여전히 도전 과제임을 시사하지만, 제안된 방법은 제로샷 일반화 분야에서 중대한 진전을 이룬다.