[논문 리뷰] Curriculum Learning for Domain Adaptation in Neural Machine Translation

Xuan Zhang, Pamela Shapiro외 4명|arXiv (Cornell University)|2019. 05. 14.

Natural Language Processing Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)의 도메인 적응을 위한 커리큘럼 학습 접근법을 제안한다. 여기서 비라벨 도메인 문장은 도메인 내 데이터와의 유사도로 순위가 매겨지고, 유사도가 높은 샘플을 먼저 자주 학습하는 비율 기반 커리큘럼 스케줄링 방식을 통해 학습된다. 이 방법은 추가적인 모델 아키텍처 변경 없이 노이즈가 많고 거리가 먼 데이터를 더 효과적으로 활용함으로써, 표준 계속 학습 대비 번역 성능을 최대 3.22 BLEU 포인트 향상시킨다. 특히 자원이 적은 도메인에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

We introduce a curriculum learning approach to adapt generic neural machine translation models to a specific domain. Samples are grouped by their similarities to the domain of interest and each group is fed to the training algorithm with a particular schedule. This approach is simple to implement on top of any neural framework or architecture, and consistently outperforms both unadapted and adapted baselines in experiments with two distinct domains and two language pairs.

연구 동기 및 목표

• 학습 도메인과 테스트 도메인이 일치하지 않을 경우 NMT 성능이 떨어지는 문제를 해결하기 위해, 특히 도메인 내 병렬 데이터가 부족한 상황에서의 성능 향상을 목표로 한다.
• 완전히 일치하지 않는 목표 도메인과의 정렬이 어려운 비라벨 도메인 데이터(예: 웹 크롤링 데이터)를 포함하여 계속 학습의 효과를 높이기 위해 목표로 한다.
• 고정된 임계값을 설정하는 데 어려움을 겪는 문제를 해결하기 위해 동적이고 유사도 기반의 학습 스케줄링을 도입함으로써 목표로 한다.
• 커리큘럼 학습의 이점을 NMT에서 활용하기 위해, 유사도가 높고 도메인 관련성이 높은 샘플을 학습의 초기 단계에서 우선순위를 두어 목표로 한다.
• 비율 기반 커리큘럼 학습이 도메인 특화 번역에서 모델의 일반화 능력을 향상시키고 어휘 선택 오류를 줄일 수 있음을 입증하는 것

제안 방법

• 비라벨 도메인 데이터(예: Paracrawl)에서 유사도가 도메인 내 목표 데이터와 유사한 정도를 평가하기 위해 두 가지 데이터 선택 방법(모어-레위스 교차 엔트로피 차이 및 비현실적인 데이터 선택)을 사용하여 점수를 매긴다.
• 문장을 유사도 점수에 따라 순위를 매기고, 동일한 크기의 조각으로 나누어 단계적 학습을 가능하게 한다.
• 비율 기반 커리큘럼 전략을 적용하여, 초기 학습 단계에서는 유사도가 높은(점수가 높은) 문장을 더 높은 확률로 샘플링하고, 미니배치 및 셔플링과 같은 표준 학습 관행을 유지한다.
• 모델은 먼저 일반 도메인 데이터로 사전 학습된 후, 커리큘럼 스케줄링된 도메인 내 데이터와 유사도가 높은 비라벨 샘플을 사용하여 미세 조정된다.
• 학습 과정에서 유사 샘플의 효과적 가중치를 에포크 동안 동적으로 조정함으로써, 손실 수정이 아닌 스케줄링을 통한 인스턴스 가중치 모방 방식을 사용한다.
• 이 방법은 어떤 신경 기계 번역 프레임워크와도 호환되며, 아키텍처 변경이 필요하지 않다.

실험 결과

연구 질문

• RQ1 유사도 기반 도메인 스케줄링을 통한 커리큘럼 학습 전략이 자원이 적은 도메인 적응에서 NMT 성능 향상에 기여할 수 있는가?
• RQ2 노이즈가 많고 거리가 먼 비라벨 데이터를 사용할 때, 커리큘럼 학습의 성능이 표준 계속 학습 대비 어떻게 다른가?
• RQ3 유사 샘플의 동적 스케줄링이 도메인 특화 번역에서 어휘 선택 오류(SENSE 및 SCORE 오류)를 줄이는가?
• RQ4 커리큘럼 학습이 성능 저하 없이 다양한 저품질 비라벨 데이터를 얼마나 효과적으로 활용할 수 있는가?
• RQ5 표준 학습 기반선 대비 이 방법은 안정성과 수렴 속도를 유지하는가?

주요 결과

• 제안된 커리큘럼 학습 방법은 독일어-영어 및 러시아어-영어 번역 과제에서 표준 계속 학습 대비 최대 3.22 BLEU 포인트 향상시킨다.
• 이 방법은 두 가지 서로 다른 도메인(TED 강연 및 특허 개요)과 두 가지 언어 쌍에서 일관된 성능 향상을 보이며, 광범위한 적용 가능성을 입증한다.
• S4 오류 분석 결과 SENSE 및 SCORE 오류가 크게 감소하여, 도메인 특화 어휘 선택을 더 잘 처리하는 것으로 나타났다.
• 유사도가 높은 샘플을 학습 초기에 우선순위를 두어, 먼 노이즈가 많은 비라벨 데이터를 효과적으로 활용함으로써 데이터 효율성이 향상된다.
• 버킷링 및 미니배치와 같은 표준 최적화 관행을 유지함으로써 강력한 학습 안정성과 수렴 속도를 유지한다.
• 성능 향상의 원인은 데이터 다양성의 더 나은 활용과 기억 상실 감소에 기인하며, 초기에 학습된 비슷한 샘플이 전체 학습 기간 동안 강화되기 때문이다.