[논문 리뷰] Word Shape Matters: Robust Machine Translation with Visual Embedding

Haohan Wang, Peiyan Zhang외 1명|arXiv (Cornell University)|2020. 10. 20.

Multimodal Machine Learning Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 문자 모양을 저차원 이미지 표현으로 인코딩하는 시각적 임베딩(VE)을 제안한다. 이는 철자 오류나 노이즈와 같은 열 劣한 입력에 대해 신경 기계 번역(NMT) 모델의 강인성을 향상시키기 위한 것이다. 기존의 one-hot 문자 인코딩 대신 형태 인식 시각적 임베딩을 사용함으로써, 특히 훈련 분포를 초월하는 분포 외 테스트 노이즈 상황에서 더 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Neural machine translation has achieved remarkable empirical performance over standard benchmark datasets, yet recent evidence suggests that the models can still fail easily dealing with substandard inputs such as misspelled words, To overcome this issue, we introduce a new encoding heuristic of the input symbols for character-level NLP models: it encodes the shape of each character through the images depicting the letters when printed. We name this new strategy visual embedding and it is expected to improve the robustness of NLP models because humans also process the corpus visually through printed letters, instead of machinery one-hot vectors. Empirically, our method improves models' robustness against substandard inputs, even in the test scenario where the models are tested with the noises that are beyond what is available during the training phase.

연구 동기 및 목표

• 철자 오류나 노이즈가 있는 텍스트와 같은 열 劣한 입력을 처리할 때 인간과 NMT 모델 간의 강인성 격차를 해소하기 위해.
• NMT 모델의 취약성의 근본 원인이 인위적인 one-hot 벡터 사용이 아니라 인간과 유사한 문자 모양의 시각적 처리 방식 부족에 있음을 규명하기 위해.
• 인간의 인쇄 문자 시각 인지 방식을 모방하는 새로운 인코딩 전략인 시각적 임베딩(VE)을 제안하여 모델의 내성 강화를 도모하기 위해.
• VE가 적대적 훈련을 초월해, 특히 훈련 중에 볼 수 없었던 테스트 시 노이즈 분포 상황에서 일반화 성능을 향상시킴을 입증하기 위해.
• 기존의 문자 수준 NMT 모델에 최소한의 아키텍처 변경과 계산 오버헤드로 VE를 통합하기 위해.

제안 방법

• 각 문자를 인쇄된 이미지(예: 16×16 픽셀 비트맵)로 표현하여 그 시각적 모양을 포착한다.
• 차원 축소(예: PCA 또는 오토에인코더)를 적용하여 이미지를 압축하여 단순한 시각적 임베딩(VE) 벡터로 변환한다.
• 기존의 문자 수준 NMT 모델에서 사용하는 표준 one-hot 문자 임베딩을 학습된 시각적 임베딩으로 교체한다.
• 철자 오류, 문자 치환 등의 합성 노이즈 증강을 훈련 중에 적용하여 강인성을 향상시킨다.
• 표준 적대적 강인성 벤치마크를 초월하여, 훈련 중에 관찰한 것보다 확률이 높은 노이즈 분포에서 테스트하여 일반화 성능을 평가한다.
• 입력 레이어에서 one-hot 인코딩의 즉각적인 대체로 VE를 사용함으로써 기존 모델과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 시각적 임베딩을 통한 문자 모양 모델링이 철자 오류나 노이즈와 같은 열 劣한 입력에 대해 NMT 강인성을 향상시킬 수 있는가?
• RQ2 분포 외 노이즈 상황에서 시각적 임베딩이 one-hot 인코딩과 적대적 훈련보다 우수한 성능을 보일 수 있는가?
• RQ3 훈련 중에 볼 수 없었던 노이즈 유형에 대해 시각적 임베딩이 얼마나 잘 일반화되는가?
• RQ4 one-hot 인코딩 대비 시각적 임베딩 통합이 훈련 동역학과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 예를 들어 대소문자 구분과 같은 상황에서 인간의 단어 형태 인지와의 불일치로 인해 시각적 임베딩이 실패할 수 있는 경우는 어떤가?

주요 결과

• 시각적 임베딩(VE)을 사용하는 모델은 표준 one-hot 모델 대비 테스트 시 예측 불가능한 노이즈에 대해 훨씬 더 높은 강인성을 보인다.
• VE 기반 모델은 훈련 중에 경험한 노이즈 수준을 초월하는 테스트 시 노이즈 상황에서도 강력한 성능을 유지한다. 이는 표준 적대적 훈련이 일반적으로 실패하는 상황이다.
• 시각적 임베딩 기법은 one-hot 인코딩 대비 입력 크기를 줄이면서도 모델의 강인성을 유지하거나 향상시킨다.
• 데이터 증강을 초월해 일반화 성능을 향상시키므로, 형태 기반 인덕티브 바이어스가 모델이 더 강인한 표현을 학습하는 데 기여함을 시사한다.
• 비록 수렴까지 더 많은 훈련 에포크가 필요한 편이지만, VE 모델은 특히 실제 세계의 노이즈 상황에서 뛰어난 강인성을 확보한다.
• 이 방법은 one-hot 임베딩을 사용하는 모든 문자 수준 NLP 모델에 넓이 있게 적용 가능하며, 최소한의 구현 오버헤드를 가진다.