[논문 리뷰] How Robust Are Character-Based Word Embeddings in Tagging and MT Against Wrod Scramlbing or Randdm Nouse?

Georg Heigold, Günter Neumann외 1명|arXiv (Cornell University)|2017. 04. 14.

Natural Language Processing Techniques인용 수 26

한 줄 요약

이 논문은 타원, 문자 교환, 뒤집힘, 단어 뒤섞기 등의 다양한 형태의 입력 노이즈 하에서 형태소 태깅 및 신경 기계 번역에서 문자 기반 단어 임베딩의 견고성에 대해 조사한다. 합성 노이즈 데이터로 훈련하면 노이즈가 있는 입력에서 모델 성능이 크게 향상되며, BPE 기반 모델보다 문자 수준 모델이 더 우수하고, 노이즈 적응형 훈련을 통해 다양한 노이즈 유형으로의 일반화가 가능하다고 밝힌다.

ABSTRACT

This paper investigates the robustness of NLP against perturbed word forms. While neural approaches can achieve (almost) human-like accuracy for certain tasks and conditions, they often are sensitive to small changes in the input such as non-canonical input (e.g., typos). Yet both stability and robustness are desired properties in applications involving user-generated content, and the more as humans easily cope with such noisy or adversary conditions. In this paper, we study the impact of noisy input. We consider different noise distributions (one type of noise, combination of noise types) and mismatched noise distributions for training and testing. Moreover, we empirically evaluate the robustness of different models (convolutional neural networks, recurrent neural networks, non-neural models), different basic units (characters, byte pair encoding units), and different NLP tasks (morphological tagging, machine translation).

연구 동기 및 목표

• 비표준적이고 노이즈가 있는 단어 형태, 예를 들어 타이핑 실수, 뒤섞인 단어, 문자 수준의 변형에 대해 NLP 모델—특히 문자 기반 임베딩—의 견고성을 평가하기 위해.
• 합성 노이즈 데이터로 훈련하면 실제 세계의 노이즈가 있는 입력에서의 일반화 및 성능 향상 여부를 조사하기 위해, 특히 형태소 태깅 및 기계 번역에서.
• 노이즈 유형에 따라 다양한 모델링 접근 방식(CNN, RNN, CRF), 기본 단위(문자 대비 BPE), 노이즈 유형의 효과를 비교하기 위해.
• 훈련 데이터와 테스트 데이터 간의 노이즈 분포 불일치가 미치는 영향을 분석하고, 노이즈 적응형 모델의 일반화 능력을 평가하기 위해.
• 노이즈 조건 하에서 문자 수준 표현이 하위어(BPE) 또는 단어 수준 표현보다 본질적으로 더 견고한가를 판단하기 위해.

제안 방법

• 청결한 단일어 코퍼스에서 제어된 변형을 사용해 합성 노이즈를 생성: 문자 교환, 뒤집힘, 다양한 노이즈 밀도에서의 단어 뒤섞기.
• 노이즈 적응형 훈련의 영향을 평가하기 위해 청결한 데이터와 합성 노이즈가 첨가된 데이터로 모델을 훈련.
• 세 가지 주요 모델링 접근 방식을 평가: 컨volutional 신경망(CNN), 순환 신경망(RNN), 형태소 태깅을 위한 조건부 랜덤 필드(CRF) 기반 베이스라인.
• 기본 단위로 원시 문자와 바이트 페어 인코딩(BPE) 하위어를 비교하며, BPE 크기를 다양하게 조정하여 해상도의 상충 관계를 탐색.
• 표준 벤치마크를 사용해 두 가지 작업에서 실험 수행: 형태소 태깅(영어 및 독일어) 및 신경 기계 번역(영어-독일어).
• 노이즈 분포 불일치를 체계적으로 테스트하며, 예를 들어 교환 노이즈로 훈련하고 뒤섞임 노이즈로 테스트함으로써 일반화 능력을 평가.

실험 결과

연구 질문

• RQ1 청결한 데이터로 훈련된 최신 NLP 모델의 성능에 대해 타이핑 실수, 문자 교환, 뒤집힘, 단어 뒤섞기 등의 입력 노이즈가 어떤 영향을 미치는가?
• RQ2 합성 노이즈 데이터로 훈련하면 훈련 데이터와 다른 노이즈 유형을 가진 테스트 입력에서의 모델 견고성 향상 정도는 어느 정도이며, 특히 훈련과 테스트에서 노이즈 유형이 다를 경우 어떻게 되는가?
• RQ3 다양한 노이즈 조건 하에서 문자 수준 표현과 BPE 기반 표현 간의 견고성은 어떻게 비교되는가?
• RQ4 신경망 아키텍처 선택(CNN 대 RNN)이 노이즈가 있는 입력에 대한 견고성에 유의미한 영향을 미치는가, 아니면 표현 수준의 영향이 더 크며 지배적인가?
• RQ5 노이즈 적응형 훈련을 통해 모델이 다양한 노이즈 유형과 분포로 일반화할 수 있는가, 청결한 데이터에서의 성능 저하 없이?

주요 결과

• 합성 노이즈 데이터로 훈련하면 노이즈가 있는 입력에서 모델 성능이 크게 향상되며, 청결한 데이터로 훈련한 모델이 청결한 입력에서 성능을 내는 수준에 도달한다.
• 일치하는 노이즈 유형(예: 동일한 노이즈 유형으로 훈련 및 테스트)에서 훈련하면 최고의 성능를 기록하지만, 다른 노이즈 유형 간의 일반화 역시 효과적이다.
• 특히 문자 수준의 변형이 포함된 노이즈 조건 하에서 문자 수준 표현이 BPE 기반 모델보다 일관되게 뛰어난 성능을 보인다.
• 노이즈 분포 불일치—예를 들어 교환 노이즈로 훈련하고 뒤섞임 노이즈로 테스트—는 노이즈 밀도 불일치보다 더 큰 부정적 영향을 미치며, 이는 변형의 유형이 빈도보다 더 중요하다는 것을 시사한다.
• RNN과 CNN 아키텍처는 유사한 견고성 추세를 보이며, 이는 신경망 아키텍처 선택이 입력 표현 수준의 영향보다 덜 중요하다는 것을 의미한다.
• 형태소 태깅 작업에서, 청결한 조건과 노이즈 조건 모두에서 신경망 모델(RNN/CNN)이 CRF 기반 베이스라인을 능가하며, 노이즈 적응형 훈련에서 가장 높은 성능를 기록한다.