[논문 리뷰] From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots

Shizhe Chen, Qin Jin외 1명|arXiv (Cornell University)|2019. 06. 03.

Natural Language Processing Techniques참고 문헌 24인용 수 9

한 줄 요약

이 논문은 의미적으로 다를 수 있는 캡션으로 인한 노이즈가 많은 지도 학습 문제를 해결하기 위해 시각적 피벗으로서의 이미지를 사용하여 자원이 없는 신경 기계 번역을 위한 점진적 학습 접근법을 제안한다. 먼저 이미지 영역에 기반한 단어 수준 번역을 학습한 후, 토큰 수준의 재가중 및 자동에코딩을 통해 문장 수준 번역을 개선함으로써 IAPR-TC12 및 Multi30k에서 번역 품질을 크게 향상시킨다. 기존의 최고 성능을 기록한 이미지 피벗 기반 방법들을 능가한다.

ABSTRACT

The neural machine translation model has suffered from the lack of large-scale parallel corpora. In contrast, we humans can learn multi-lingual translations even without parallel texts by referring our languages to the external world. To mimic such human learning behavior, we employ images as pivots to enable zero-resource translation learning. However, a picture tells a thousand words, which makes multi-lingual sentences pivoted by the same image noisy as mutual translations and thus hinders the translation model learning. In this work, we propose a progressive learning approach for image-pivoted zero-resource machine translation. Since words are less diverse when grounded in the image, we first learn word-level translation with image pivots, and then progress to learn the sentence-level translation by utilizing the learned word translation to suppress noises in image-pivoted multi-lingual sentences. Experimental results on two widely used image-pivot translation datasets, IAPR-TC12 and Multi30k, show that the proposed approach significantly outperforms other state-of-the-art methods.

연구 동기 및 목표

• 동일한 이미지에 대해 다국어 캡션이 서로 다른 측면을 기술하는 경우 발생하는 노이즈가 많은 지도 학습 문제를 해결하기 위해.
• 더 단순하고 모호성이 적은 단어 수준 번역에서 시작해 더 복잡한 문장 수준 번역으로 진행하는 인간과 유사한 언어 학습 방식을 모방하기 위해.
• 의미적 불일치를 줄이기 위해 학습된 단어 번역을 활용해 문장 수준 학습 쌍의 재가중 및 개선을 수행하기 위해.
• 이미지 피벗 기반 단어 번역에서 유도된 다국어 단어 임베딩을 활용해 언어에 관계없이 공통된 문장 표현을 학습하기 위해 자동에코딩을 도입하기 위해.

제안 방법

• 이 방법은 먼저 이미지 기반 단어 표현을 사용하여 신뢰할 수 있는 다국어 단어 대응 관계를 학습하는 단어 수준 번역 모델을 훈련한다.
• 그 후, 단어 수준 모델을 통해 고신뢰도 번역 토큰을 식별한 후, 이미지 피벗 기반 문장 쌍에 대해 토큰 수준 재가중 전략을 적용한다.
• 단어 수준 임베딩을 사전 지식으로 사용하여 다국어 자동에코딩 손실을 도입함으로써 공통의 언어에 관계없는 문장 표현을 학습한다.
• 문장 수준 번역 모델은 재가중된 교차 엔트로피 손실(노이즈가 많은 문장 쌍을 위한)과 표현 학습을 위한 자동에코딩 손실을 함께 최적화한다.
• 전체 파이프라인은 이미지 캡션 모델을 사용해 초도 다국어 문장 쌍을 생성하지만, 단어 수준 지식을 활용해 지도 신호를 필터링하고 개선한다.
• 전체 프로세스는 점진적 학습 스케줄을 따르며, 먼저 단어 수준 번역을 훈련하고, 그 결과물을 유도적 편향으로 사용해 문장 수준 번역을 훈련한다.

실험 결과

연구 질문

• RQ1 이미지 기반 영역에서 유도된 단어 수준 번역 학습이 문장 수준의 자원이 없는 번역의 강건성 향상에 기여하는가?
• RQ2 이미지 피벗 기반 문장 쌍에 대해 토큰 수준 재가중 전략이 자원이 없는 번역에서 노이즈가 많은 캡션의 영향을 어느 정도 줄일 수 있는가?
• RQ3 이전 단어 번역 단계에서 유도된 다국어 단어 표현을 활용한 언어에 관계없는 문장 자동에코딩의 효과는 어떠한가?
• RQ4 단어 번역을 먼저 수행하고 문장 번역을 이어가는 점진적 학습 순서가 자원이 없는 환경에서 공동 훈련 또는 반대로 훈련하는 것보다 성능을 더 좋게 만드는가?

주요 결과

• IAPR-TC12 데이터셋에서 제안된 방법은 독일어에서 영어로의 번역에서 BLEU-4 점수 61.3을 기록하여 이전 최고 성능의 이미지 피벗 기반 방법들을 뛰어넘었다.
• Multi30k 데이터셋에서 방법은 독일어에서 영어로의 번역에서 BLEU-4 점수 23.0을 기록하여 다양한 데이터셋에 대한 강력한 일반화 능력을 보였다.
• 제거 실험 결과, 점진적 학습 전략을 제거하면 성능이 최대 10 BLEU 포인트 감소함을 확인하여 단어 수준 사전 훈련의 중요성을 입증했다.
• IAPR-TC12에서 독일어-영어 번역에 대해 18,000개의 병렬 데이터를 사용한 완전한 지도 학습 기반 NMT 모델의 75% 성능에 도달했으며, 병렬 데이터가 전혀 없는 조건에서 달성한 것이다.
• 번역 성능은 이미지 캡션 모델의 품질에 비례함을 확인하여 더 나은 캡션 생성이 더 나은 자원이 없는 번역 성능을 이끌 수 있음을 시사한다.
• 토큰 수준 재가중 메커니즘이 노이즈가 많은 캡션 쌍에서도 깨끗한 번역 쌍을 더 높게 순위 매기고 세분화된 지도 학습을 제공함을 입증했다.