[논문 리뷰] Agreement-based Learning of Parallel Lexicons and Phrases from Non-Parallel Corpora

Chunyang Liu, Yang Liu외 3명|arXiv (Cornell University)|2016. 06. 15.

Natural Language Processing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 비병렬 코퍼스에서 정렬 정확도를 향상시키기 위해 원천-대상 및 대상-원천 잠재변수 번역 모델을 공동으로 훈련하는 합의 기반 학습 프레임워크를 제안한다. 양방향 어절 및 어휘 정렬 간 일관성을 Viterbi EM 알고리즘을 통해 강제함으로써, 어절 정렬 F1 점수(70% 이상)와 기계 번역 BLEU 점수(최대 19.78)에서 뚜렷한 향상을 이룩하였으며, 노이즈에 대한 강건성과 미리보기 없는 어휘 및 어절을 학습하는 데서 효과적임을 입증한다.

ABSTRACT

We introduce an agreement-based approach to learning parallel lexicons and phrases from non-parallel corpora. The basic idea is to encourage two asymmetric latent-variable translation models (i.e., source-to-target and target-to-source) to agree on identifying latent phrase and word alignments. The agreement is defined at both word and phrase levels. We develop a Viterbi EM algorithm for jointly training the two unidirectional models efficiently. Experiments on the Chinese-English dataset show that agreement-based learning significantly improves both alignment and translation performance.

연구 동기 및 목표

• 기존 방법이 정확도 낮고 노이즈에 민감한 문제를 겪는 비병렬 코퍼스에서 병렬 어휘 및 어절을 학습하는 데 도전한다.
• 비대칭 원천-대상 및 대상-원천 번역 모델 간 합의를 활용하여 정렬 및 번역 성능을 향상시킨다.
• 노이즈 데이터에 대한 강건성을 향상시키기 위해 일치 기반 훈련 목표를 사용하여 어절 및 어휘 수준의 정렬을 공동 최적화한다.
• 초기 시드 어휘 목록을 초월하여 새로운, 미리보기 없는 어휘 및 어절 쌍을 발견할 수 있도록 한다.

제안 방법

• 비병렬 단일어 코퍼스에서 어절 및 어휘 정렬을 공동으로 모델링하는 코퍼스 수준의 잠재변수 번역 모델을 제안한다.
• 양방향 어절 및 어휘 정렬 간 일치를 기반으로 한 내부 및 외부 합의 손실 함수 두 가지를 도입하여 일관성을 강제한다.
• 기대최대화 프레임워크 내에서 계산이 불가능한 추론을 근사하기 위해 효율적인 Viterbi EM 알고리즘을 사용하여 두 비대칭 모델을 훈련한다.
• 모든 모델 간 매개변수 공유를 통해 정의된 대칭 어절 번역 모델 P(f|e;θ) = ∏ P(f|e;θ)를 사용한다.
• E단계에서 Viterbi 스타일 디코딩 단계를 적용하여 가장 가능성 높은 정렬 경로를 추정함으로써 효율적인 공동 최적화를 가능하게 한다.
• 작은 시드 어휘 목록에서 시작하여 높은 확률의 어절 및 어휘 정렬을 식별함으로써 반복적으로 병렬 코퍼스를 확장한다.

실험 결과

연구 질문

• RQ1 양방향 번역 모델 간 합의를 강제하면 비병렬 코퍼스에서 정렬 정확도가 향상되는가?
• RQ2 노이즈 데이터에 대한 강건성 측면에서 합의 기반 학습은 독립적 훈련보다 어떻게 비교되는가?
• RQ3 합의 기반 학습은 초깃시드 어휘 목록을 초월하여 얼마나 많은 새로운, 미리보기 없는 어휘 및 어절 쌍을 발견할 수 있는가?
• RQ4 어절 및 어휘 수준의 정렬에 대한 일치가 후속 기계 번역 작업에서 더 높은 성능을 이끌어내는가?

주요 결과

• 합의 기반 학습은 테스트 세트에서 F1 점수 70% 이상을 달성하여, 노이즈 조건 하에서도 독립적 훈련보다 뚜렷이 뛰어난 성능을 보였다.
• 내부 합의(어절 및 어휘 수준 정렬 일치)는 어휘 수준 일치만 고려하는 외부 합의보다 정렬 평가에서 일관되게 뛰어난 성능을 보였다.
• 기계 번역에서 합의 기반 학습은 NIST 2005 테스트 세트에서 BLEU 점수 19.78에 도달하여, 더 작은 병렬 코퍼스를 사용함에도 불구하고 독립적 훈련을 능가했다.
• 표 3에 나타난 바와 같이, 초기 시드 어휘 목록에 존재하지 않는 새로운 어휘 및 어절을 학습하는 데 성공하였으며, 예를 들어 'jiaoyisuo shichang jiage zhishu' → 'exchange market price index'와 같은 예시가 있다.
• 이 방법은 노이즈에 대한 민감도를 감소시켜 원천 측과 대상 측 모두가 손상된 경우에도 높은 성능을 유지한다. 이는 이전 방법이 노이즈에서 급격히 성능이 떨어지는 것과 대비된다.
• 합의 기반 학습을 통한 병렬 코퍼스의 반복적 확장은 10회 반복 동안 정렬 및 번역 성능 향상에 지속적인 기여를 하였다.