[논문 리뷰] A Correlational Encoder Decoder Architecture for Pivot Based Sequence Generation

Amrita Saha, Mitesh M. Khapra외 3명|arXiv (Cornell University)|2016. 06. 15.

Algorithms and Data Compression참고 문헌 32인용 수 7

한 줄 요약

이 논문은 원천 언어 X와 피벗 언어 Z 간의 공유 표현을 공동으로 학습할 수 있는 상관관계 기반 인코더-디코더 아키텍처를 제안한다. 이는 직접적인 X-Y 병렬 데이터 없이도 목표 언어 Y에서의 시퀀스 생성을 가능하게 한다. X와 Z의 인코딩 간 상관관계를 최대화하고 Y를 위한 통합 디코더를 훈련시킴으로써, 다이아몬드 번역과 유사한 다이아몬드 캡션 작업에서 두 단계 기반 보다 뛰어난 성능을 달성하며, 간결한 다국어 생성으로 향한 확장 가능한 길을 제시한다.

ABSTRACT

Interlingua based Machine Translation (MT) aims to encode multiple languages into a common linguistic representation and then decode sentences in multiple target languages from this representation. In this work we explore this idea in the context of neural encoder decoder architectures, albeit on a smaller scale and without MT as the end goal. Specifically, we consider the case of three languages or modalities X, Z and Y wherein we are interested in generating sequences in Y starting from information available in X. However, there is no parallel training data available between X and Y but, training data is available between X & Z and Z & Y (as is often the case in many real world applications). Z thus acts as a pivot/bridge. An obvious solution, which is perhaps less elegant but works very well in practice is to train a two stage model which first converts from X to Z and then from Z to Y. Instead we explore an interlingua inspired solution which jointly learns to do the following (i) encode X and Z to a common representation and (ii) decode Y from this common representation. We evaluate our model on two tasks: (i) bridge transliteration and (ii) bridge captioning. We report promising results in both these applications and believe that this is a right step towards truly interlingua inspired encoder decoder architectures.

연구 동기 및 목표

• 직접적인 X-Y 병렬 데이터가 존재하지 않을 때 원천 언어 X에서 목표 언어 Y로의 시퀀스 생성 문제를 해결하기 위해.
• X와 피벗 언어 Z 간의 공유 잠재 표현을 사용한 인터링구아 유사 접근법을 탐색하여 공동 인코딩 및 디코딩을 가능하게 하기 위해.
• X-Z 및 Z-Y 병렬 데이터만 제공되는 새로운 두 가지 작업인 브릿지 번역 및 브릿지 캡션에 대해 모델을 평가하기 위해.
• 성능 및 일반화 능력 측면에서 강력한 두 단계 기반 보다와 제안된 공동 학습 모델을 비교하기 위해.

제안 방법

• 모델은 원천(X)과 피벗(Z) 입력을 동일한 잠재 표현으로 매핑하기 위해 공유 인코더를 사용하며, 이들의 인코딩 출력 간 상관관계를 최대화한다.
• 공유 표현에서 목표 언어 Y의 시퀀스를 생성하기 위해 별도의 디코더를 훈련시키며, 크로스 어텐션 메커니즘을 사용한다.
• 표준 시퀀스 생성 손실(예: 교차 엔트로피)과 X와 Z의 인코딩 간 상관관계를 유도하는 상관관계 손실을 조합한 훈련 목표를 설정한다.
• X-Y 병렬 예제가 필요 없이 X-Z 병렬 데이터와 Z-Y 병렬 데이터 두 개의 데이터셋에서 공동으로 훈련된다.
• 이미지 캡션 작업에 대한 이전 실험 기반으로 초기 하이퍼파라미터를 설정하고, 검증 세트에서 상관관계 손실에 대해서만 조정한다.
• 브릿지 번역 및 브릿지 캡션 양쪽 작업에서 아키텍처를 평가하며, 두 단계 기반 보다와 정량적·정성적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 직접적인 X-Y 병렬 데이터 없이도 원천 언어 X와 피벗 언어 Z 간의 공유 표현을 신경망 모델이 공동으로 학습하여 목표 언어 Y에서의 생성을 가능하게 할 수 있는가?
• RQ2 피벗 기반 시퀀스 생성에서 공동 상관관계 모델의 성능이 두 단계 기반 보다와 비교해 어떻게 되는가?
• RQ3 공유 표현이 번역 및 이미지 캡션과 같은 작업에서 다국어 및 다중모달 상관관계를 어느 정도 잘 포착할 수 있는가?
• RQ4 제한된 병렬 데이터로도 실제 복잡한 시나리오, 예를 들어 이미지에서 다국어 캡션 생성에 모델이 일반화되는가?

주요 결과

• 제안된 상관관계 기반 인코더-디코더 모델은 다이아몬드 캡션 작업에서 경쟁적인 성능을 달성하며, 영문 캡션을 피벗으로 사용해 이미지에서 관련 있는 프랑스어 캡션을 생성한다.
• 브릿지 번역 작업에서, 모델은 여러 언어 쌍에서 강력한 두 단계 기반 보다를 뛰어넘는 성능을 보이며, 공동 표현 학습의 효과를 입증한다.
• 모델의 성능는 프랑스어 데이터로의 파라미터 조정 없이도 두 단계 기반 보다와 유사하여, 뛰어난 일반화 능력을 보여준다.
• 정성적 결과는 모델이 이미지와 영문 문장 간의 상관관계를 성공적으로 포착하고, 공유 표현에서 일관된 프랑스어 캡션을 생성함을 보여준다.
• 제거 실험을 통해 상관관계 손실이 X와 Z 표현 간 정렬을 향상시켜 최종 생성 품질을 향상시킨다는 점을 확인했다.
• 결과적으로 공동 표현 학습은 자원이 적은 다국어 및 다중모달 생성에서 다단계 파이프라인의 타당하고 확장 가능한 대안임을 시사한다.