[논문 리뷰] Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism

Longyue Wang, Zhaopeng Tu외 2명|arXiv (Cornell University)|2018. 10. 15.

Natural Language Processing Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 공유 재구성기와 공동 학습 프레임워크를 제안하여, 동시에 번역하고 생략된 대명사(DPs)를 예측함으로써 프로드롭 언어의 신경 기계 번역을 향상시킨다. 인코더 및 디코더 표현 간에 재구성기를 공유하고 번역과 함께 DPs 예측을 공동으로 학습함으로써, 이전 작업 대비 +1.45 BLEU 포인트 향상과 함께 DPs 예측 F1 점수는 9% 향상되어 외부 예측기에서 기인하는 오류 전파를 크게 감소시킨다.

ABSTRACT

Pronouns are frequently omitted in pro-drop languages, such as Chinese, generally leading to significant challenges with respect to the production of complete translations. Recently, Wang et al. (2018) proposed a novel reconstruction-based approach to alleviating dropped pronoun (DP) translation problems for neural machine translation models. In this work, we improve the original model from two perspectives. First, we employ a shared reconstructor to better exploit encoder and decoder representations. Second, we jointly learn to translate and predict DPs in an end-to-end manner, to avoid the errors propagated from an external DP prediction model. Experimental results show that our approach significantly improves both translation performance and DP prediction accuracy.

연구 동기 및 목표

• 중국어와 같이 대명사를 생략하지만 영어와 같이 비-프로드롭 대상 언어에서는 필요로 하는 프로드롭 언어에서 생략된 대명사(DPs)를 번역하는 데 도전하는 것.
• 현재 F1 점수가 66%에 불과한 외부 DPs 예측 모델에서 기인하는 오류 전파를 줄이는 것.
• 엔드 투 엔드 방식으로 번역과 DPs 예측을 공동 학습함으로써 번역 품질과 DPs 예측 정확도를 향상시키는 것.
• 인코더와 디코더 간에 재구성기를 공유하여 교차 모odal 관계를 활용함으로써 표현 학습을 향상시키는 것.

제안 방법

• 공유 재구성기가 인코더와 디코더의 은닉 상태를 읽어 DP가 주석된 원본 문장을 재구성함으로써, 인코더와 디코더 표현 간의 지식 공유를 가능하게 한다.
• 모델은 재구성기의 은닉 상태를 맥락으로 사용하여 학습 중에 적절한 위치에 DPs를 예측하는 공동 예측 헤드를 통합한다.
• 학습 목표에는 원본 문장과 DPs 예측 모두에 대한 재구성 손실이 포함되어, 모델이 DPs 관련 특징을 학습하도록 이끈다.
• 디코더의 맥락에서 DPs 관련 정보를 더 잘 정렬하기 위해 인코더에서 디코더로의 상호작용 어텐션 메커니즘을 사용한다.
• 외부 DPs 예측 모델에 의존하지 않고 재구성과 DPs 예측을 보조 손실과 함께 엔드 투 엔드로 학습한다.
• 재구성된 원본에 대해 어텐션 기반 재구성 기법을 사용하며, 인코더 및 디코더 표현에 대해 별도의 맥락 벡터를 계산한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더 은닉 상태를 모두 처리하는 공유 재구성기가 별도의 재구성기보다 DPs 번역 성능을 향상시키는가?
• RQ2 NMT 모델을 DPs 예측 헤드와 함께 공동 학습하면 외부 DPs 예측기에서 기인하는 오류 전파가 감소하는가?
• RQ3 공동 학습이 번역 품질과 DPs 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 인코더와 디코더 표현 간의 상호작용이 생략된 대명사를 복구하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ5 DPP 레이블링 정확도가 열악한 상황에서도 외부 DPP 예측 도구에 의존하지 않고 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 Wang 등(2018)이 보고한 최고 성능 대비 +1.45 BLEU 포인트 향상하여, 공유 재구성과 공동 예측을 사용할 경우 34.80 BLEU에 도달한다.
• 공동 학습된 DPs 예측 모델은 75%의 F1 점수를 기록하여 외부 모델의 66% F1 점수 대비 9% 향상되었다.
• 상호작용 어텐션(인코더 → 디코더)을 갖춘 공유 재구성기가 가장 높은 성능을 기록하여 베이스라인 대비 +3.45 BLEU 포인트 향상되었다.
• 재구성 기능을 추론 시에는 사용하지 않고 학습 시에만 사용할 경우에도 모델은 베이스라인 및 이전 최고 성능를 초월하여 강력한 일반화 능력과 실용성을 보였다.
• 자동 레이블링과 수동 레이블링 간의 성능 격차가 감소하여, 공동 학습 메커니즘이 오류 전파를 완화시켰음을 시사한다.
• 이전 모델보다 오라클 성능(수동으로 레이블링된 DPPs)에 더 가까운 성능 격차를 보이며, 노이즈가 많은 입력 DPP 애너테이션에 대해 강건함을 나타낸다.