[논문 리뷰] Bilingual-GAN: A Step Towards Parallel Text Generation

Ahmad Rashid, Alan Do-Omri외 3명|arXiv (Cornell University)|2019. 04. 09.

Topic Modeling참고 문헌 29인용 수 6

한 줄 요약

Bilingual-GAN은 단일 언어 데이터만을 사용하여 두 언어 간의 공유 잠재 공간을 학습하는 생성 적대 신경망을 제안한다. 이는 동시 이방향 병행 번역을 가능하게 하며, 비지도 학습 환경에서도 유창하고 의미적으로 일치하는 번역을 달성한다. 노이즈 제거 오토인코더와 잠재 코드에서의 적대적 훈련을 결합함으로써, 기존의 베이스라인을 능가하는 유창성과 병행성 성능을 달성한다.

ABSTRACT

Latent space based GAN methods and attention based sequence to sequence models have achieved impressive results in text generation and unsupervised machine translation respectively. Leveraging the two domains, we propose an adversarial latent space based model capable of generating parallel sentences in two languages concurrently and translating bidirectionally. The bilingual generation goal is achieved by sampling from the latent space that is shared between both languages. First two denoising autoencoders are trained, with shared encoders and back-translation to enforce a shared latent state between the two languages. The decoder is shared for the two translation directions. Next, a GAN is trained to generate synthetic "code" mimicking the languages' shared latent space. This code is then fed into the decoder to generate text in either language. We perform our experiments on Europarl and Multi30k datasets, on the English-French language pair, and document our performance using both supervised and unsupervised machine translation.

연구 동기 및 목표

• 다국어 사용자가 공통 개념 표현에서 한 언어로도 번역할 수 있도록, 이중 언어 텍스트 생성을 공동 문제로 모델링하기 위해.
• 병행 단일 언어 코퍼스에 의존하지 않고 의미적으로 일치하는 병행 문장을 생성하는 문제를 해결하기 위해.
• 시퀀스-투-시퀀스 모델의 잠재 공간에 적대적 훈련을 통합하여 텍스트 생성 품질을 향상시키기 위해.
• 단일 언어 데이터셋만을 사용하여 고품질의 병행 텍스트 생성의 가능성을 탐색하기 위해.
• 비지도 기계 번역과 병행 텍스트 생성을 모두 지원하는 통합 프레임워크를 수립하기 위해.

제안 방법

• 공유 인코더를 가진 두 개의 노이즈 제거 오토인코더를 단일 언어 코퍼스에서 훈련하며, 잠재 공간 내의 일치를 위해 백트랜슬레이션을 사용한다.
• 디코더는 양방향 번역을 가능하게 하기 위해 두 언어 방향 모두에서 공유된다.
• 실제 공유 인코더의 잠재 분포를 모방하는 합성 잠재 코드를 생성하기 위해 GAN을 훈련한다.
• 생성자는 잠재 코드를 생성하여 양방향 언어에서 자연스럽고 의미적으로 일치하는 문장을 디코딩하며, 공유된 의미를 통해 병행성을 보장한다.
• 다국어 임베딩과 BPE 토크나이저를 활용하여 다국어 간의 일치성과 일반화 능력을 향상시킨다.
• 성능 평가를 위해 유럽의회 회의록(Europarl)과 Multi30k 데이터셋을 사용하여 지도 및 비지도 설정 모두에서 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 단일 언어 데이터로부터 효과적으로 공유 잠재 공간을 학습할 수 있는가? 이를 통해 두 언어에서 동시 병행 문장 생성이 가능한가?
• RQ2 GAN 기반 생성기가 실제 잠재 분포를 모방하는 현실적인 잠재 코드를 생성하여 자연스럽고 의미적으로 일치하는 번역을 제공할 수 있는가?
• RQ3 병행 훈련 데이터에 접근하지 못한 상황에서 모델이 고품질의 병행 문장을 얼마나 잘 생성할 수 있는가?
• RQ4 지도 학습과 비지도 학습 환경 간에 생성된 문장의 품질은 어떻게 비교되는가?
• RQ5 단일 언어 데이터만을 사용하여 사전 훈련한 경우에도 모델이 강력한 병행성과 유창성을 달성할 수 있는가?

주요 결과

• Europarl 데이터셋에서 지도 설정에서는 영어에 대해 유창성 점수 4.14, 프랑스어에 대해 3.80을 기록하였으며, 병행성 점수는 3.05였다.
• Europarl의 비지도 설정에서 모델은 영어에 대해 유창성 점수 3.88, 프랑스어에 대해 3.52를 기록하였으며, 병행성 점수는 2.52였다.
• Multi30k 데이터셋에서 지도 모델은 영어에 대해 유창성 점수 3.41, 프랑스어에 대해 3.20을 기록하였으며, 병행성 점수는 2.39였다.
• 비지도 Multi30k 모델은 영어에 대해 유창성 점수 4.07, 프랑스어에 대해 3.24를 기록하였으며, 병행성 점수는 1.97였다. 이는 병행 데이터가 전혀 없는 상황에서도 뛰어난 성능을 보임을 시사한다.
• 인간 평가 결과, 생성된 문장은 특히 지도 설정에서 의미적으로 일치하는 병행성을 보였으며, 실제 문장은 생성된 문장보다 유의미하게 높은 점수를 기록하였다.
• 표 5의 정성적 예시는 비지도 설정에서도 모델이 의미적으로 일관되고 병행되는 문장 쌍을 생성함을 보여주며, 단일 언어 데이터로부터 다국어 간 일치를 효과적으로 학습할 수 있음을 입증한다.