[논문 리뷰] Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion

Armand Joulin, Piotr Bojanowski외 3명|arXiv (Cornell University)|2018. 04. 20.

Natural Language Processing Techniques참고 문헌 19인용 수 19

한 줄 요약

이 논문은 이중어 어휘 벡터 정렬을 위해 기존의 제곱 손실 대신 CSLS 검색 기준을 직접 최적화하는 새로운 엔드 투 엔드 훈련 목표인 RCSLS를 제안한다. 볼록 완화와 투영된 부분미분 강하법을 사용함으로써 RCSLS는 영어-중국어와 같은 거리가 먼 언어 쌍에서 특히 뛰어난 성능을 달성하며, NN 기준에서 최상위 기법보다 최대 +6.1% 향상되고 CSLS 기준에서 최대 +3.5% 향상된다.

ABSTRACT

Continuous word representations learned separately on distinct languages can be aligned so that their words become comparable in a common space. Existing works typically solve a least-square regression problem to learn a rotation aligning a small bilingual lexicon, and use a retrieval criterion for inference. In this paper, we propose an unified formulation that directly optimizes a retrieval criterion in an end-to-end fashion. Our experiments on standard benchmarks show that our approach outperforms the state of the art on word translation, with the biggest improvements observed for distant language pairs such as English-Chinese.

연구 동기 및 목표

• 이중어 어휘 매핑에서 훈련 손실(제곱 손실)과 추론 기준(예: CSLS) 간의 일관성 문제를 해결하기 위해.
• CSLS나 ISF와 같은 후처리 보정에 의존하지 않고 검색 기반 목표를 직접 최적화함으로써 어휘 번역 성능을 향상시키기 위해.
• 시드 어휘 이외의 비지도 어휘 표현을 포함하는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 직교성 제약을 제거하면 정렬 품질이 향상되는지 조사하기 위해.
• 기본 이중어 어휘 번역 벤치마크에서 최상위 성능을 달성하기 위해.

제안 방법

• CSLS 기준의 볼록 완화를 제안하여 엔드 투 엔드 최적화를 위한 미분 가능한 훈련 목표로 사용한다.
• 투영된 부분미분 강하법을 사용하여 완화된 CSLS 목표를 최적화함으로써 효율적인 훈련을 가능하게 한다.
• 훈련 중에 검색 성능을 직접 최적화하는 통합 프레임워크를 도입하여 추론 시 보정이 필요 없도록 한다.
• 단일 언어 데이터에서 유도된 비지도 어휘 표현을 활용하여 시드 어휘를 초월한 일반화 능력을 향상시킨다.
• 기존의 제곱 손실 대신 추론과 더 잘 부합하는 검색 중심의 손실로 교체한다.
• 비직교 매핑이 새로운 기준으로 훈련될 경우 직교 매핑보다 더 좋은 성능을 낼 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 후처리 보정을 사용하는 제곱 손실 대비 CSLS 검색 기준을 훈련 중에 직접 최적화하면 이중어 어휘 정렬 성능이 향상되는가?
• RQ2 훈련 목표에 비지도 어휘 표현을 통합하면 미리 보지 않은 단어로의 일반화 능력이 향상되는가?
• RQ3 고품질의 이중어 어휘 벡터 정렬을 위해 직교성 제약이 필수적인가?
• RQ4 표준 벤치마크에서 MUSE나 BabylonPartners와 같은 최상위 기법과 비교해 본다면 제안된 방법은 어떻게 성능을 내는가?
• RQ5 검색 기준의 엔드 투 엔드 최적화가 NN 및 CSLS 추론 기준 양쪽에서 더 나은 성능을 이끌어내는가?

주요 결과

• RCSLS는 28개 언어 쌍에서 최상위 성능을 달성하며, 동일한 어휘로 훈련된 MUSE 대비 평균 정확도를 +3.5% 향상시켰다.
• 전체 MUSE 훈련 세트에서 RCSLS는 NN 기준에서 Procrustes 대비 +6.1% 향상되고 CSLS 기준에서 +2.9% 향상되었다.
• 영어-중국어 쌍에서 RCSLS는 65.2%의 정확도를 달성하여 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• RCSLS를 통해 학습된 비직교 매핑이 직교 매핑보다 더 좋은 결과를 낸다. 이는 직교성이 필수적이라는 가정을 도전한다.
• 어휘 유사도 및 어법 유사성 작업에서 성능 저하가 최소한으로 발생하여 정렬된 벡터의 의미적 품질을 유지한다.
• NN 기준에서 RCSLS와 다른 방법 간의 성능 격차가 더 크며, 이는 RCSLS가 내재적으로 도트 곱 공간에서 CSLS 메트릭의 성질을 학습하고 있음을 시사한다.