[논문 리뷰] Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey

Danielle Saunders|arXiv (Cornell University)|2021. 04. 14.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 종합 검토는 신경 기계 번역(NMT)을 위한 도메인 적응(DA) 및 다중도메인 적응(MDA) 기법에 대한 포괄적인 개요를 제공하며, 데이터 중심, 아키텍처 중심, 파라미터 적응, 추론 기반 접근 방식으로 방법을 분류한다. 이는 치명적인 망각과 과적합 등의 과제를 강조하며, 향후 주요 방향으로 세분화된 적응, 비지도 적응, 효율성, 그리고 신경 회상 기반 의도적인 망각을 제시한다.

ABSTRACT

The development of deep learning techniques has allowed Neural Machine Translation (NMT) models to become extremely powerful, given sufficient training data and training time. However, systems struggle when translating text from a new domain with a distinct style or vocabulary. Fine-tuning on in-domain data allows good domain adaptation, but requires sufficient relevant bilingual data. Even if this is available, simple fine-tuning can cause overfitting to new data and `catastrophic forgetting' of previously learned behaviour. We concentrate on robust approaches to domain adaptation for NMT, particularly where a system may need to translate across multiple domains. We divide techniques into those revolving around data selection or generation, model architecture, parameter adaptation procedure, and inference procedure. We finally highlight the benefits of domain adaptation and multi-domain adaptation techniques to other lines of NMT research.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 도메인 적응 및 다중도메인 적응에 대한 기존 접근 방식을 체계적으로 검토하는 것.
• NMT 모델을 새로운 도메인에 적응시키는 데 있어 치명적인 망각, 과적합, 데이터 부족 등의 과제를 특정하는 것.
• 도메인 적응 기법이 저자원 번역, 편향 완화, 문서 수준 번역과 같은 넓은 NMT 연구 분야에 어떻게 기여할 수 있는지 탐색하는 것.
• 비지도 적응, 세분화된 튜닝, 신경 회상 기반 의도적인 망각과 같은 새로운 추세를 강조하는 것.
• 도메인 적응 NMT 시스템의 효율성, 확장성, 내구성과 관련된 주요 열린 과제를 식별하여 향후 연구를 이끌어내는 것.

제안 방법

• 도메인 적응 기법을 데이터 선택/생성, 모델 아키텍처 수정, 파라미터 적응 절차, 추론 시기 적응의 네 가지 주요 유형으로 분류한다.
• 기본 방법으로서 미세조정을 검토하며, 새로운 도메인에 적용했을 때 과적합과 치명적인 망각 등의 한계를 밝힌다.
• 데이터 중심 전략을 분석하며, 도메인 내 데이터 선택, 역번역을 통한 가짜 평행 데이터 생성, 도메인 특화 적응을 위한 단일 언어 데이터 필터링을 포함한다.
• 어댑터 레이어, 어댑터 기반 미세조정, 희소 파라미터 업데이트와 같은 아키텍처 혁신을 분석하여 적응 비용을 줄이고 망각을 방지한다.
• 모델 가중치를 재학습하지 않고도 출력을 적응시키는 추론 시기 방법을 탐색하며, 동적 디코딩 및 주의 기반 도메인 라우팅을 포함한다.
• 파라미터 흐림, 저차원 적응, 회상 메커니즘과 같은 기법이 효율성을 향상시키고 과거의 또는 편향된 행동을 의도적으로 망각하는 데 기여할 수 있음을 제안한다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 새로운 도메인에 적응할 때 이전에 학습한 지식의 치명적인 망각 없이 NMT 모델을 효과적으로 적응시킬 수 있는 방법은 무엇인가?
• RQ2 다중도메인 NMT에 있어 가장 효과적인 데이터 중심, 아키텍처 중심, 파라미터 적응 전략은 무엇인가?
• RQ3 평행 도메인 내 데이터가 부족할 경우 비지도 또는 약한 지도 기반 적응은 성능 향상에 어떻게 기여할 수 있는가?
• RQ4 문장 수준 또는 사용자 수준의 세분화된 적응을 효율적이고 내구성 있게 구현하여 과적합을 방지할 수 있는 방법은 무엇인가?
• RQ5 신경 회상 기반 기법을 활용해 NMT 시스템에서 오래된 또는 편향된 번역 패턴을 의도적으로 망각할 수 있는가?

주요 결과

• 미세조정은 여전히 도메인 적응의 일반적인 기준이지만, 제한된 데이터로 새로운 도메인에 적용할 경우 과적합과 치명적인 망각의 위험이 있다.
• 도메인 내 데이터 선택, 역번역을 통한 가짜 평행 데이터 생성과 같은 데이터 중심 접근 방식은 특히 저자원 환경에서 효과적이다.
• 어댑터 레이어 및 희소 파라미터 업데이트와 같은 아키텍처 수정은 전체 모델을 재학습하지 않고도 효율적이고 파라미터 효율적인 적응을 가능하게 한다.
• 추론 시기 적응 기법, 예를 들어 동적 주의 라우팅 또는 출력 보정은 모델 가중치를 수정하지 않고도 도메인 적응을 가능하게 하여 효율성을 향상시킨다.
• 평행 데이터가 없을 경우 단일 언어 도메인 내 데이터를 활용한 비지도 도메인 적응은 매우 유망한 방향이다.
• 향후 연구는 효율성, 세분화된 적응, 의도적인 망각을 우선순위로 삼아 NMT 시스템의 지속 가능성, 개인정보 보호, 편향 문제를 해결해야 한다.