[논문 리뷰] Multi-Domain Neural Machine Translation

Sander Tars, Mark Fishel|arXiv (Cornell University)|2018. 05. 06.

Natural Language Processing Techniques인용 수 24

한 줄 요약

이 논문은 도메인 태그를 첨부하거나 도메인 임베딩을 입력 시퀀스에 통합하여 텍스트 도메인을 별개의 언어로 간주하는 다중 도메인 신경 기계 번역(NMT) 프레임워크를 제안한다. 두 방법 모두 표준 미세조정 및 단일 도메인 모델보다 유의미하게 뛰어난 성능을 보이며, 문장의 무 supervized 클러스터링을 통해 사전 레이블이 없는 도메인에서도 효과적인 도메인 인식 번역이 가능하다.

ABSTRACT

We present an approach to neural machine translation (NMT) that supports multiple domains in a single model and allows switching between the domains when translating. The core idea is to treat text domains as distinct languages and use multilingual NMT methods to create multi-domain translation systems, we show that this approach results in significant translation quality gains over fine-tuning. We also explore whether the knowledge of pre-specified text domains is necessary, turns out that it is after all, but also that when it is not known quite high translation quality can be reached.

연구 동기 및 목표

• 도메인 특화 미세조정의 한계를 해결하기 위해, 이는 도메인 외 텍스트에서 성능 저하를 초래하고 과적합을 방지하기 위해 충분한 도메인 내 데이터가 필요하다.
• 다국어 NMT 기법을 활용해 텍스트 도메인을 별개의 언어로 간주하는 것이 다중 도메인에서의 번역 품질 향상에 기여하는지 탐색한다.
• 무 supervized 문장 클러스터링을 통해 수동으로 사전 레이블이 부여된 도메인을 대체할 수 있는지, 그리고 그 효과성과 타당성을 조사한다.
• 감독 및 비감독 설정에서 도메인 태깅 및 도메인 임베딩 통합 방법의 성능을 평가한다.
• 파rameter 공유를 통한 다중 도메인 NMT가, 사전 도메인 지식이 없는 경우조차도 미세조정 모델보다 더 잘 일반화됨을 보여준다.

제안 방법

• Johnson 등(2016)의 다국어 NMT 접근법을 변형하여, 각 소스 문장에 도메인 ID 토큰(예: '__OpenSubs')을 앞에 붙여 도메인을 별개의 언어로 간주한다.
• 도메인 임베딩을 입력 특징으로 통합하기 위해, 각 디코더 타임스텝에서 단어 임베딩과 도메인 임베딩을 연결하여, 모델이 시퀀스 전체 동안 도메인 특화 표현에 주의를 기울일 수 있도록 한다.
• 사전 레이블이 없는 경우, 병렬 코퍼스에 대해 무 supervized 문장 클러스터링을 적용하여 도메인 클러스터를 자동으로 유도하고, 수동 도메인 태깅을 대체한다.
• 여러 도메인의 데이터를 사용해 단일 다중 도메인 NMT 모델을 훈련시키며, 도메인 특화 데이터는 훈련 중에 별개의 언어 쌍으로 간주한다.
• 추론 시 도메인 분류를 적용하여 들어오는 문장을 가장 유사한 클러스터에 할당하고, 해당 도메인 인식 모델을 사용해 번역한다.
• 위키백과, 오픈서브타이틀, 뉴스 코퍼스를 포함한 여러 텍스트 도메인에서 표준 미세조정 및 균일 번역 기준 모델과 비교하여 제안된 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다국어 NMT 프레임워크에서 텍스트 도메인을 별개의 언어로 간주하는 것이 표준 미세조정 대비 다중 도메인에서의 번역 품질 향상에 기여하는가?
• RQ2 각 타임스텝에서 도메인 임베딩을 입력 특징으로 통합하는 것이 소스 시퀀스에 도메인 태그를 단순히 앞에 붙이는 것보다 더 나은 성능을 내는가?
• RQ3 무 supervized 문장 클러스터링이 다중 도메인 NMT에서 수동으로 사전 레이블이 부여된 도메인을 얼마나 효과적으로 대체할 수 있으며, 번역 품질에 어떤 영향을 미치는가?
• RQ4 입력 텍스트의 도메인이 추론 시 알려지지 않은 경우에도, 파rameter 공유를 통한 다중 도메인 NMT의 성능이 미세조정보다 뛰어나게 되는가?
• RQ5 무 supervized 도메인 세그멘테이션에서 클러스터 수가 번역 성능에 어떤 영향을 미치며, 도메인 일반화를 위한 최적의 클러스터 수가 존재하는가?

주요 결과

• 도메인 태깅(앞에 붙이기 방식)과 도메인 임베딩 통합 방식 모두 평가된 모든 도메인에서 표준 미세조정 및 균일 번역 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 각 타임스텝에서 도메인 특징을 단어 임베딩과 연결하는 도메인 임베딩 통합 방식이 도메인 태그 앞에 붙이기 방식보다 略적으로 더 높은 번역 점수를 기록했으며, 특히 정밀도가 높은 설정에서 유의미한 성능 향상을 보였다.
• 무 supervized 문장 클러스터링을 통해 사전 레이블이 없는 도메인에서도 효과적인 도메인 인식 번역이 가능했으며, 알려진 도메인으로 훈련된 모델과 비교해 유사하거나 그 이상의 성능을 달성했다.
• 파rameter 공유를 통한 다중 도메인 NMT 모델은 미세조정 모델보다 더 잘 일반화되었으며, 도메인 간 성능 저하 없이 도메인 내 번역 품질을 향상시켰다.
• 도메인 정보가 추론 시 알려지지 않은 경우에도 무 supervized 접근 방식이 높은 번역 품질을 달성했으며, 일부 사례에서는 알려진 도메인으로 훈련된 모델을 초월하기도 했다.
• 결과는 다중 도메인 NMT에서의 파rameter 공유 효과가 과적합을 완화하고 표현 학습을 향상시켜 강건하고 일반화 능력이 뛰어난 번역 모델을 만든다는 점을 시사한다.