[논문 리뷰] Finding Sparse Structures for Domain Specific Neural Machine Translation

Jianze Liang, Chengqi Zhao외 3명|arXiv (Cornell University)|2020. 12. 19.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 파rameter 효율적인 도메인 적응 방법인 Prune-Tune을 제안한다. 이 방법은 사전 훈련된 일반 도메인 모델에서 도메인 특화된 희박한 하위 네트워크를 점진적 프루닝을 통해 추출한다. 프루닝된 하위 네트워크를 동결하고 나머지 파라미터만 미세조정함으로써 Prune-Tune은 치명적인 기억 상실과 과적합을 완화하며, 단일 및 다중 도메인 설정 모두에서 일반 도메인 성능을 떨어뜨리지 않은 채 최신 기술 성능을 달성한다.

ABSTRACT

Neural machine translation often adopts the fine-tuning approach to adapt to specific domains. However, nonrestricted fine-tuning can easily degrade on the general domain and over-fit to the target domain. To mitigate the issue, we propose Prune-Tune, a novel domain adaptation method via gradual pruning. It learns tiny domain-specific sub-networks during fine-tuning on new domains. Prune-Tune alleviates the over-fitting and the degradation problem without model modification. Furthermore, Prune-Tune is able to sequentially learn a single network with multiple disjoint domain-specific sub-networks for multiple domains. Empirical experiment results show that Prune-Tune outperforms several strong competitors in the target domain test set without sacrificing the quality on the general domain in both single and multi-domain settings. The source code and data are available at https://github.com/ohlionel/Prune-Tune.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 도메인 적응 과정 중 치명적인 기억 상실과 과적합 문제를 해결하기 위해.
• 일반 도메인 지식을 유지하면서 특정 도메인에 적응할 수 있는 파rameter 효율적인 방법을 개발하기 위해.
• 반복적 프루닝과 미세조정을 통해 단일 모델이 다수의 상호 배제되는 도메인을 지원할 수 있도록 하기 위해.
• 희박한 하위 네트워크가 자동으로 발견되어 도메인 특화 적응에 활용될 수 있는지 탐색하기 위해.
• 수동으로 설계된 어댑터나 정규화 기법에 대한 확장 가능한, 모델에 종속되지 않는 대안을 제공하기 위해.

제안 방법

• 사전 훈련된 일반 도메인 NMT 모델에 점진적 프루닝을 적용하여 일반 지식을 유지하면서도 높은 성능을 보이는 희박한 하위 네트워크를 식별한다.
• 프루닝된 하위 네트워크를 동결하여 이후의 미세조정 동안 일반 도메인 능력을 유지한다.
• 프루닝되지 않은 나머지 파라미터를 타겟 도메인 데이터로 미세조정하여 도메인 특화 패턴에 적응시킨다.
• 새로운 도메인마다 순차적으로 프루닝과 미세조정을 반복함으로써 이론적으로 다수의 도메인을 지원하도록 방법을 확장한다.
• 모델 수정을 피하고 아키텍처 변경이나 추가 파라미터가 필요하지 않다.
• 지속적 학습과 로또 히포재시스 원리에서 영감을 얻어 효과적인 희박한 하위 네트워크를 식별한다.

실험 결과

연구 질문

• RQ1 일반 도메인 NMT 모델에서 일반 작업에서 높은 성능을 유지하는 희박한 하위 네트워크를 자동으로 발견할 수 있는가?
• RQ2 프루닝되지 않은 파라미터만 미세조정하면 치명적인 기억 상실을 방지하면서 타겟 도메인에서의 성능 향상을 이룰 수 있는가?
• RQ3 Prune-Tune은 단일 모델을 사용해 다수의 상호 배제되는 도메인을 지원하도록 확장할 수 있는가?
• RQ4 Prune-Tune의 성능는 표준 미세조정, EWC, 어댑터와 같은 강력한 베이스라인과 비교해 타겟 도메인 및 일반 도메인 성능 측면에서 어떻게 나타나는가?
• RQ5 Prune-Tune를 사용한 효과적인 도메인 적응을 위해 필요한 최소 파라미터 예산은 얼마인가?

주요 결과

• Prune-Tune은 En→De 번역의 타겟 도메인 테스트 세트에서 표준 미세조정, EWC, 모델 디스틸레이션, 레이어 동결, 어댑터 기반 방법을 모두 능가한다.
• 방법은 일반 도메인 성능을 유지하거나 심지어 향상시키며, 표준 미세조정에서 관찰되는 성능 저하를 피한다.
• En→De 벤치마크에서 Prune-Tune은 타겟 도메인에서 표준 미세조정 대비 BLEU 점수를 최대 4.2 포인트 향상시킨다.
• 실험 결과, 대부분의 도메인에서 전체 모델 파라미터의 5%만 미세조정하면 되며, 1%로도 유사한 성능를 달성할 수 있다.
• 다중 도메인 적응에서 다양한 학습 순서에 대해 강건하며, 서로 다른 도메인 적응 순서 간 BLEU 점수 격차는 미미하다.
• Prune-Tune은 성능 저하 없이 단일 모델이 다수의 도메인을 지원할 수 있도록 하여 확장성과 파라미터 효율성을 입증한다.