[논문 리뷰] Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling

Jonathan Shen, Patrick Nguyen외 89명|arXiv (Cornell University)|2019. 02. 21.

Algorithms and Data Compression참고 문헌 3인용 수 183

한 줄 요약

Lingvo는 시퀀스-투-시퀀스 모델링용 모듈식 빌딩 블록이 있는 TensorFlow 프레임워크로, 중앙 집중식 실험 구성, 분산 학습, 추론 및 양자화와 같은 생산 준비된 구성 요소를 특징으로 합니다.

ABSTRACT

Lingvo is a Tensorflow framework offering a complete solution for collaborative deep learning research, with a particular focus towards sequence-to-sequence models. Lingvo models are composed of modular building blocks that are flexible and easily extensible, and experiment configurations are centralized and highly customizable. Distributed training and quantized inference are supported directly within the framework, and it contains existing implementations of a large number of utilities, helper functions, and the newest research ideas. Lingvo has been used in collaboration by dozens of researchers in more than 20 papers over the last two years. This document outlines the underlying design of Lingvo and serves as an introduction to the various pieces of the framework, while also offering examples of advanced features that showcase the capabilities of the framework.

연구 동기 및 목표

• 시퀀스-투-시퀀스 모델의 신속한 프로토타이핑을 위한 모듈식이고 확장 가능한 프레임워크를 제공합니다.
• 중앙 집중식 하이퍼파라미터 구성과 레지스트리 기반 모델 설정을 통해 재현 가능하고 비교 가능한 실험을 가능하게 합니다.
• 추론 및 양자화를 포함한 확장 가능한 분산 학습 및 배포를 지원합니다.
• 다중 작업 모델링과 작업 간 일반 빌딩 블록의 재사용성을 촉진합니다.

제안 방법

• 쉬운 구성을 위한 균일한 인터페이스를 갖춘 모듈식 빌딩 블록(Layers, Inputs, Params)을 도입합니다.
• 실험 구성으로 명시된 기본값이 오버라이드되도록 계층적 Params 시스템을 활용하여 레이어, 태스크, 모델을 구성합니다.
• 쉽게 인스턴스화할 수 있도록 단일 태스크 및 다중 태스크 모델을 등록하는 모델 레지스트리와 데코레이터를 제공합니다.
• 여러 작업 러너와 파라미터-서버 방식 설정으로 동기식 및 비동기식 분산 학습을 지원합니다.
• 버킷 배치와 여러 토크나이저 및 데이터 형식을 지원하는 입력 처리 파이프라인을 제공합니다.
• 생산 배포와 효율성을 가능하게 하는 추론 및 양자화 기능을 통합합니다.

실험 결과

연구 질문

• RQ1 모듈식이면서 재사용 가능한 빌딩 블록 세트가 시퀀스-투-시퀀스 모델의 개발과 실험을 어떻게 가속화할 수 있을까?
• RQ2 통합된 Params 기반 구성과 모델 레지스트리가 연구자 및 작업 간의 재현성 및 비교 가능성을 향상시킬 수 있을까?
• RQ3 이와 같은 프레임워크에서 분산 학습 및 다중 작업 학습의 실제 고려사항과 메커니즘은 무엇인가?
• RQ4 추론과 양자화를 훈련에 사용된 동일한 코드베이스에 통합하여 배포를 간소화할 수 있을까?

주요 결과

• Lingvo는 모듈식 레이어, 입력 프로세서, 그리고 계층적 구성을 지원하고 손쉬운 재정의를 허용하는 Params 시스템을 갖춘 응집력 있는 설계를 제공합니다.
• 명시적 하이퍼파라미터 선언, 중앙 집중식 구성 및 런타임 로깅으로 실험을 더 쉽게 재현하고 비교할 수 있습니다.
• 프레임워크는 여러 작업 러너와 디바이스에 걸친 비동기식 및 동기식 분산 학습을 모두 지원합니다.
• Lingvo는 공유 변수와 구성 가능한 작업 가중치를 갖춘 다중 작업 모델을 지원합니다.
• 추론 및 양자화가 통합되어 동일한 프레임워크 내에서 추론 그래프의 내보내기와 디바이스별 구현이 가능합니다.