[논문 리뷰] Why not be Versatile? Applications of the SGNMT Decoder for Machine Translation

Felix Stahlberg, Danielle Saunders외 2명|arXiv (Cornell University)|2018. 03. 20.

Natural Language Processing Techniques참고 문헌 24인용 수 7

한 줄 요약

이 논문은 다양한 신경 모델, 제약 조건, 기호 모델을 모듈러 예측자 인터페이스를 통해 통합하는 유연한 신경 기계 번역 디코딩 플랫폼인 SGNMT를 제시한다. 디코딩 전략을 모델에서 분리함으로써 SGNMT는 빠른 프로토타이핑, 새로운 NMT 툴킷(예: TensorFlow, PyTorch)의 원활한 통합, 그리고 Transformer와 RNN과 같은 모델의 효율적 조합을 가능하게 하였으며, 재구현 없이도 여러 NMT 백엔드에서 최신 기술 수준의 BLEU 점수(최대 22.5)를 달성하였다.

ABSTRACT

SGNMT is a decoding platform for machine translation which allows paring various modern neural models of translation with different kinds of constraints and symbolic models. In this paper, we describe three use cases in which SGNMT is currently playing an active role: (1) teaching as SGNMT is being used for course work and student theses in the MPhil in Machine Learning, Speech and Language Technology at the University of Cambridge, (2) research as most of the research work of the Cambridge MT group is based on SGNMT, and (3) technology transfer as we show how SGNMT is helping to transfer research findings from the laboratory to the industry, eg. into a product of SDL plc.

연구 동기 및 목표

• 신경 기계 번역(NMT) 분야에서 아키텍처와 툴킷의 빈번한 변화가 연구, 교육, 산업 현장 구현을 방해하는 문제를 해결하기 위해.
• 새로운 NMT 모델이나 도구를 통합하는 데 소요되는 시간과 노력을 줄이기 위해 통합적이고 확장 가능한 디코딩 프레임워크를 제공하기 위해.
• 한 개의 디코딩 파이프라인 내에서 신경 모델, 기호 모델, 제약 조건이 있는 모델을 원활하게 조합할 수 있도록 하기 위해.
• 디코딩 전략을 모델의 구현에서 분리함으로써 연구에서 산업으로의 기술 이전과 빠른 프로토타이핑을 지원하기 위해.
• NLP 교육을 지원하기 위해 학부생 프로젝트와 기계 학습, 음성 기술 프로그램의 실습에 적합한 유연하고 확장 가능한 플랫폼을 제공하기 위해.

제안 방법

• SGNMT는 예측자 추상화를 사용하여 모델과 제약 조건을 통일된 인터페이스를 가진 모듈러 컴포넌트로 봉인하여 즉시 통합이 가능하도록 한다.
• 각 예측자는 initialize, get_state, set_state, predict_next, consume와 같은 핵심 메서드를 구현하여 다양한 모델 간 일관된 상태 기반 점수 계산을 가능하게 한다.
• SGNMT의 디코더는 예측자와 독립되어 있어, 어떤 예측자 조합에도 빔 서치, 근사적 디코딩 등의 다양한 검색 전략을 적용할 수 있다.
• 프레임워크는 파이썬 인터페이스를 통해 C++ 기반 도구(예: NPLM, TensorFlow 모델 등)에 대한 액세스를 가능하게 하는 어댑터를 통해 비파이썬 모델의 통합도 지원한다.
• 레이티스 및 n-best 목록 재평가, 앙상블, MBR 기반 디코딩은 한 번만 구현되어 모든 예측자 간에 재사용되며, 코드 중복을 줄인다.
• 시스템은 디코딩 로직을 재구현하지 않고도 NMT 툴킷 간 이식이 가능하게 하여 연구 연속성을 유지한다(예: Theano에서 TensorFlow로의 전환).

실험 결과

연구 질문

• RQ1 핵심 디코딩 로직을 재구현하지 않고도 새로운 신경 기계 번역 모델과 툴킷을 빠르게 통합할 수 있도록 하는 디코딩 플랫폼은 어떻게 설계할 수 있는가?
• RQ2 통합된 프레임워크가 한 개의 디코딩 파이프라인 내에서 다양한 모델—신경 모델, 기호 모델, 제약 조건이 있는 모델—을 얼마나 효과적으로 조합할 수 있는가?
• RQ3 다양한 모델을 통합한 탄력적인 디코딩 아키텍처는 연구에서 개발 시간을 줄이고도 높은 성능와 확장성을 유지할 수 있는가?
• RQ4 이러한 시스템은 NLP 및 기계 학습 분야의 교육과 학부생 프로젝트를 얼마나 효과적으로 지원할 수 있는가?
• RQ5 동일한 프레임워크가 최신 연구와 산업 제품 개발을 모두 지원할 수 있으며, 연구와 산업 간의 원활한 기술 이전을 가능하게 할 수 있는가?

주요 결과

• SGNMT는 Theano 기반 Blocks, TensorFlow 기반 T2T, Transformer 모델 등 여러 NMT 백엔드를 디코딩 로직을 재구현하지 않고도 원활하게 통합할 수 있었다.
• T2T Transformer 모델을 사용하여 KFTT 테스트 세트에서 최대 BLEU 점수 22.5를 기록하여 다양한 NMT 아키텍처에서 뛰어난 성능을 입증하였다.
• 예측자 프레임워크 덕분에 저자들은 디코딩 파이프라인을 다시 작성하지 않고도 MBR 기반 NMT와 레이티스 재평가를 다양한 NMT 백엔드, 특히 최신 Transformer 모델에서도 검증할 수 있었다.
• 시스템은 개발 시간을 크게 단축시켜, Theano에서 TensorFlow로의 전환과 같은 툴킷 간 이식이 가능했으며, 기존 코드를 손상시키지 않았다.
• SGNMT는 캠브리지 대학교에서 교육 현장에 성공적으로 도입되어, NMT, 언어 모델링, WFSA 제약 조건이 있는 음악 생성과 관련된 MPhil 학부생 프로젝트를 지원하였다.
• 산업 분야에서는 SDL Research에서 SGNMT를 활용해 고급 NMT 기법(예: Transformer, 모델 축소)의 프로토타이핑과 평가를 수행하였으며, SGNMT는 연구 및 생산 시스템 간 비교 기준으로 기능하였다.