[논문 리뷰] Word Embedding Perturbation for Sentence Classification

Dongxu Zhang, Zhichao Yang|arXiv (Cornell University)|2018. 04. 22.

Topic Modeling참고 문헌 21인용 수 35

한 줄 요약

이 논문은 문장 분류에서 과적합을 줄이기 위해 사전 훈련된 단어 임베딩에 노이즈를 추가하는 데이터 증강 기법으로 단어 임베딩 편향을 제안한다. 제약 조건이 있는 적대적 훈련이 다양한 NLP 작업에서 일관되게 성능을 향상시키며, 특히 제한된 훈련 데이터에서 표준 드롭아웃 및 가우시안 노이즈 방법보다 뛰어나다.

ABSTRACT

In this technique report, we aim to mitigate the overfitting problem of natural language by applying data augmentation methods. Specifically, we attempt several types of noise to perturb the input word embedding, such as Gaussian noise, Bernoulli noise, and adversarial noise, etc. We also apply several constraints on different types of noise. By implementing these proposed data augmentation methods, the baseline models can gain improvements on several sentence classification tasks.

연구 동기 및 목표

• 소규모 감독형 NLP 데이터셋으로 훈련된 신경망 모델에서의 과적합 문제를 해결하기 위해.
• 외부 지식이나 이산적 텍스트 조작에 의존하지 않고 연속적인 단어 임베딩 공간에서의 데이터 증강 기법을 탐색하기 위해.
• 가우시안, 베르누이, 적대적 노이즈와 같은 다양한 노이즈 유형이 문장 분류 성능에 미치는 영향을 평가하기 위해.
• 노이즈에 대한 제약 조건(예: 공간적 또는 손실-적대적)이 모델 일반화 능력을 향상시키는지 조사하기 위해.
• 모델 성능과 강건성 측면에서 연속적 노이즈(Gaussian)와 이산적 노이즈(Bernoulli)의 비교를 위해.

제안 방법

• 가우시안 노이즈를 입력 단어 임베딩 시퀀스에 요소별 곱셈을 통해 적용: $ X_{emb} \leftarrow X_{emb} \odot e, e \sim \mathcal{N}(I, \sigma^2 I) $.
• 베르누이 노이즈를 드롭아웃의 형태로 구현: $ X_{emb} \leftarrow (1/p)X_{emb} \odot e, e \sim \mathcal{B}(n,p) $, 여기서 단위는 확률 $ 1-p $로 무작위로 0이 된다.
• 적대적 훈련을 사용해 손실을 최대화하는 편향을 생성: $ e \leftarrow e + \sigma g / \|g\| $, 여기서 $ g = \nabla_e L(X;\theta) $.
• 단어 드롭아웃, 의미 드롭아웃, 손실-적대적 노이즈와 같은 제약 조건이 있는 변형을 도입하여 맥락적 또는 의미적 구조를 유지함으로써 강건성을 향상시킨다.
• 편향 적용은 훈련 기간 동안만 수행하고 추론 시에는 원본 입력을 유지한다.
• 다중 채널 CNN과 다중 perspectival CNN 모델을 사용해 문장 분류를 수행하며, 미세조정 또는 고정된 가중치를 사용한 사전 훈련된 word2vec 및 GloVe 임베딩을 적용한다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터를 가진 문장 분류 작업에서 단어 임베딩에 연속적 노이즈를 추가하면 일반화 능력 향상에 기여하는가?
• RQ2 다양한 NLP 벤치마크에서 가우시안, 베르누이, 적대적 노이즈와 같은 다양한 노이즈 유형의 성능과 안정성은 어떻게 비교되는가?
• RQ3 노이즈에 제약 조건(예: 공간적 또는 손실-적대적)을 적용하면 제약 없이 적용한 경우보다 더 나은 모델 강건성과 성능을 달성할 수 있는가?
• RQ4 연속적 노이즈(Gaussian 등)가 이산적 노이즈(Bernoulli 드롭아웃 등)보다 모델 성능 유지를 유지하면서 일반화 능력을 향상시키는 데 더 효과적인가?
• RQ5 훈련 데이터 크기가 감소함에 따라 단어 임베딩 편향의 효과는 어떻게 변화하는가?

주요 결과

• 제약 조건이 있는 적대적 훈련이 모든 데이터셋에서 일관되게 성능 향상을 이끌었으며, 베이스라인 대비 0.1%에서 0.4%의 성능 향상을 보였다.
• 가우시안 적대적 노이즈는 SST 및 TrecQA 데이터셋에서 뚜렷한 향상을 보이며, 강건성 향상에 효과적임을 시사했다.
• 베르누이-의미 노이즈는 유망한 성과를 보였지만, 특히 TrecQA 데이터셋에서 더 불안정했으며, 의미 제약 조건에 민감함을 시사했다.
• 연속적 노이즈 유형(Gaussian, 가우시안 적대적)이 이산적 노이즈(Bernoulli, 적대적 드롭아웃)를 능가하거나 동등한 성능을 보였으며, 이는 더 높은 엔트로피와 더 부드러운 편향 덕분일 것이다.
• 편향으로 인한 성능 향상은 훈련 데이터 크기가 감소할수록 증가했으며, 이는 더 작은 데이터셋에서 더 강력한 이점을 제공함을 보여주었다.
• 단어 드롭아웃 및 의미 드롭아웃과 같은 제약 조건이 일반 드롭아웃보다 성능 향상을 이끌었으며, 이는 맥락 인식 노이즈 설계가 모델 일반화 능력을 향상시킨다는 것을 시사한다.