[논문 리뷰] An Autoencoder Approach to Learning Bilingual Word Representations

Sarath Chandar A P, Stanislas Lauly외 5명|arXiv (Cornell University)|2014. 02. 06.

Topic Modeling참고 문헌 28인용 수 252

한 줄 요약

이 논문은 문장 수준의 대응 데이터만을 사용하여 단어 수준의 대응이 필요 없이 언어 간에 정렬된 단어 표현을 학습하는 双어 자동에코드 모델을 제안한다. 백오플랜드(boW) 재구성 학습에 상관관계 최대화 정규화를 적용함으로써, 이 방법은 교차 언어 텍스트 분류에서 최신 기술을 초월하여, 단지 1,000개의 레이블된 예제로도 EN→DE 작업에서 최대 14%포인트 높은 성능을 달성한다.

ABSTRACT

Cross-language learning allows us to use training data from one language to build models for a different language. Many approaches to bilingual learning require that we have word-level alignment of sentences from parallel corpora. In this work we explore the use of autoencoder-based methods for cross-language learning of vectorial word representations that are aligned between two languages, while not relying on word-level alignments. We show that by simply learning to reconstruct the bag-of-words representations of aligned sentences, within and between languages, we can in fact learn high-quality representations and do without word alignments. Since training autoencoders on word observations presents certain computational issues, we propose and compare different variations adapted to this setting. We also propose an explicit correlation maximizing regularizer that leads to significant improvement in the performance. We empirically investigate the success of our approach on the problem of cross-language test classification, where a classifier trained on a given language (e.g., English) must learn to generalize to a different language (e.g., German). These experiments demonstrate that our approaches are competitive with the state-of-the-art, achieving up to 10-14 percentage point improvements over the best reported results on this task.

연구 동기 및 목표

• 병렬 코퍼스에서 단어 수준의 대응이 없는 조건에서도 双어 단어 표현을 학습하는 방법을 개발하는 것.
• 자원이 풍부한 언어에서 자원이 부족한 언어로의 전이 학습을 가능하게 하여 저자원 언어 NLP 문제를 해결하는 것.
• 문장 수준의 대응 데이터만을 사용하여 교차 언어 전이 성능을 향상시키는 것.
• 최소한의 감독 신호로도 백오플랜드 입력에 대해 자동에코딩을 통해 의미 있는 双어 표현을 학습할 수 있음을 보여주는 것.

제안 방법

• 모델은 병렬 코퍼스의 문장 쌍에 대한 백오플랜드 표현을 재구성하기 위해 딥 자동에코드를 사용한다.
• 에코더는 두 언어 모두에 대해 공통의 D차원 잠재 표현을 학습하여 교차 언어 정렬을 가능하게 한다.
• 학습 중에 언어 간 단어 임베딩을 명시적으로 정렬하기 위해 새로운 상관관계 최대화 정규화 항을 도입한다.
• 모델은 문장 쌍의 미니배치로 훈련되며, 각 문장은 단어 빈도 히스토그램으로 표현된다.
• 두 가지 변형을 탐색한다: BAE-tr(개별 문장을 사용해 훈련)와 BAE-cr(병합된 문장 미니배치로 훈련), 정규화 항이 있거나 없거나.
• 기계 번역 시스템이나 단어 수준의 대응 도구에 의존하지 않아 파ip라인을 단순화한다.

실험 결과

연구 질문

• RQ1 병렬 코퍼스에서 단어 수준의 대응이 없이도 의미 있는 双어 단어 표현을 학습할 수 있는가?
• RQ2 단어 수준의 대응에 의존하는 최신 기술과 비교할 때 자동에코드 기반 접근의 성능은 어떻게 되는가?
• RQ3 상관관계 기반 정규화 항이 학습된 双어 임베딩의 품질에 어떤 영향을 미치는가?
• RQ4 대상 언어에서 매우 제한된 레이블된 데이터가 있을 때 모델이 잘 일반화되는가?
• RQ5 더러운 문장 수준의 대응(예: 1개 배치당 50개 문장)이라도 높은 품질의 표현을 얻을 수 있는가?

주요 결과

• BAE-cr/corr 모델은 단지 1,000개의 레이블된 예제로 EN→DE 교차 언어 텍스트 분류 작업에서 91.8%의 정확도를 달성하여 이전 최고 성능 방법을 10%포인트 이상 초월했다.
• 상관관계 정규화 항이 성능 향상에 크게 기여하여, 모든 설정과 데이터 크기에서 BAE-cr/corr가 가장 뛰어난 성능을 보였다.
• 더러운 미니배치(예: 1개 배치당 50개 문장)에서도 BAE-cr/corr 모델은 강력한 성능을 유지했으며, EN→DE에서 90.2%의 정확도를 기록하여 정렬의 정밀도에 대해 뛰어난 내구성을 보였다.
• 강력한 MT 기반 베이스라인(68.1% 정확도)과 다수 클래스 베이스라인(46.8% 정확도)을 모두 능가하여 효과적인 교차 언어 전이를 보였다.
• 낮은 데이터 제약 조건에서도 모델은 뛰어난 일반화 성능을 보였으며, 예를 들어 EN→DE에서 100개 예제로도 80.2%의 정확도를 달성하여 뛰어난 품질의 학습된 표현을 가짐을 시사했다.
• BAE-tr 변형은 단어 수준의 대응을 사용하는 Klementiev 등(2012)의 최고 성능 방법과 유사한 성능을 보였으며, 이는 그것이 그것에 의존하지 않음에도 불구하고 성능을 달성했다는 것을 의미한다.